embulk-input-dynamodbを使ってみました
※このブログは所属している組織の意見などは全く含まれてない個人の意見です。技術的な問題などがあっても悪いのぼくです。
DynamoDB + Hiveでゴニョゴニョ試したりしていたのですが、Hiveを全くチューニングせず試していた為結構遅いので
※nginxのアクセスログがDynamoDBに入っていると思ってください。 SELECT COUNT(id) from hoge WHERE status = 504
みたいなちょっとテストデータを確認するようなクエリを投げてもそこそこ時間が掛かってしまい何か楽できないかなーとTwitterでつぶやいていると
@oranie @repeatedly embulk-input-dynamodb の出番のようですね
— FURUHASHI Sadayuki (@frsyuki) June 30, 2015
と @frsyuki先生からリプライを頂き今まで情報は見ていたけど触っていなかったのでembulkを試してみました。
で、表題のembulk-input-dynamodbを使ってみたんですがまだ開発中だったらしくscanが最大1MBの1回で終わってしまう問題があったんですがこれもTwitterでつぶやいたら開発者の@Lulichnさんが拾ってくれてすぐに修正してくれました。ありがたやありがたや。で、追加で僕もちょっとだけpull req投げさせて貰いこれで
・1回のscanの読み取り回数(最大1MBなのはDynamoDBのscan仕様な為変わらず。1000000000とか書いても1MBの仕様に当たるとそれ以上読まずに次のscanが必要です。)
・embulkで読み取る最大レコード数(100とか書けば最大100レコード出力で終わり。)
・IAM role対応
が出来るようになり、filter部分に条件式を書いて標準出力させればちょっとした確認がすぐに出来るようになりました。
以下簡単な設定の流れ
DynamoDBにテストデータを入れる。
とりあえずここは面倒くさいのでnginxのログをfluent-plugin-dynamodbで入れました。一点補足として動作テストしたEC2インスタンスにはIAM roleが設定されているのでACCESS KEYなどは設定していません。
nginxのログフォーマットは
log_format ltsv 'time:$time_iso8601\t' 'remote_addr:$remote_addr\t' 'request_method:$request_method\t' 'request_length:$request_length\t' 'request_uri:$request_uri\t' 'uri:$uri\t' 'query_string:$query_string\t' 'status:$status\t' 'bytes_sent:$bytes_sent\t' 'body_bytes_sent:$body_bytes_sent\t' 'referer:$http_referer\t' 'useragent:$http_user_agent\t' 'forwardedfor:$http_x_forwarded_for\t' 'request_time:$request_time\t' 'upstream_response_time:$upstream_response_time';
です。fluentdは
<source> type tail format ltsv tag nginx.access path /var/log/nginx/access.log pos_file /var/log/td-agent/buffer/access.log.pos </source> <match *.**> type copy <store> type dynamodb dynamo_db_endpoint dynamodb.ap-northeast-1.amazonaws.com dynamo_db_table access_log </store> </match>
こんなレベルです。
embulkインストール
を読んで環境に合わせてインストールします。
プラグインインストール
embulk gem install embulk-input-dynamodb
で完了。
config設定
ここも稼働させるEC2インスタンスにはIAM roleが設定されているのでcredentials情報などは記載しません。
in: type: dynamodb table: access_log_range region: ap-northeast-1 scan_limit: 10000 record_limit: 10 columns: - {name: time, type: string} - {name: request_uri, type: string} - {name: status, type: string} out: type: stdout
embulk実行
ここまでやったら
[oranie@ip-172-31-6-145 embulk]$ embulk run ./dynamodb.yml 2015-07-01 04:36:50.963 +0000: Embulk v0.6.15 2015-07-01 04:36:52.474 +0000 [INFO] (transaction): Loaded plugin embulk-input-dynamodb (0.0.2) 2015-07-01 04:36:52.523 +0000 [INFO] (transaction): {done: 0 / 1, running: 0} 2015-06-27T07:43:34Z,/,200 2015-06-16T08:38:47Z,/notfound,404 2015-06-18T22:46:35Z,/,200 2015-06-17T08:05:34Z,/,200 2015-06-16T08:38:46Z,/notfound,404 2015-06-19T00:32:04Z,/,200 2015-06-26T16:44:35Z,/,200 2015-06-16T08:38:49Z,/notfound,404 2015-06-27T03:49:35Z,/,200 2015-06-18T21:18:04Z,/,200 2015-07-01 04:36:53.598 +0000 [INFO] (transaction): {done: 1 / 1, running: 0} 2015-07-01 04:36:53.610 +0000 [INFO] (main): Committed. 2015-07-01 04:36:53.610 +0000 [INFO] (main): Next config diff: {"in":{},"out":{}} [oranie@ip-172-31-6-145 embulk]$
こんな感じでデータが出力されます。
おしまい
【チラ裏】無職になって1ヶ月が経ちました。
有給消化を入れると2ヶ月くらい地元の北海道で遊んだり引っ越ししたり酒飲んだりしました(∩´∀`)∩ワーイ
で、さすがに引っ越ししたりでお金が無くなり生きていけないので働く事になりました。職場はAWS(アマゾン データサービス ジャパン)にSolution Architectとしてジョインしました。
真面目な話をちょっと書くと今までは一般ユーザーにサービスを提供する側の事業者(いわゆるBtoC)で働いている事が多く、正直退職を考えた時期は「自分が興味を持てるサービスをしている会社さんの話が聞けたら良いなー」という感じで、クラウド事業者に行こうとは正直選択肢に出てこなかった感じもありました。ただ、ひょんなことからお話を聞かせて頂き、最近では
こんなイベントもあり、逆に言うとクラウド事業者で働くというのはいわゆる「インフラレイヤ」でやってきたエンジニアにとってはスタンダードなキャリアなのかな?というのもありました。という訳で「一度はクラウド事業者の経験を積むことは例えクビになっても今後の役に立つのでは」と思いエントリしありがたくジョインする流れとなりました。
今までAWSについては小さな規模の物をクラスメソッドさんのブログ
を見たりしてちょろちょろ試してなんとか動かしていたり・・・という感じなので、まずは早くAWSを理解し今使っている人やこれから使おうかと検討している人に少しでも役に立てる様に頑張ります。今はAWSユーザーとして僕より使い込んでいる人が凄く多いので、まずは「中の人」と胸を張れるレベルにならないと、とプレッシャーで酒の量が増えそうです。
最後に今後も与太話をブログやTwitterで書くかもしれませんが、完全に「所属する組織の意見ではありません」ので宜しくお願い致します。
【チラ裏】近況報告
皆様サガシリーズはご存知でしょうか。昨年はサガ25周年というめでたい年でした。特にロマサガシリーズ、サガフロンティア2が好きで「ついに最低でもロマサガ2、3のリメイク来るか・・・」と待ち焦がれていた時に「ロマンシング佐賀」が発表され
マジでこれが25周年にふさわしいコンテンツだと思っているスクエニに期待をする方が馬鹿だったんや…
— oranie (@oranie) 2014, 2月 19
という絶望に打ちひしがれたツイートをしていました。
そこから1年弱。ついに「SAGA2015」が発表されました。はじめは半信半疑でした。
えっ・・・SAGA2015って・・・本当に新作なの・・・?
— oranie (@oranie) 2014, 12月 14
今年一年スクエニに裏切られてきたから、未だに信じられない。何か罠がある気がする…。
— oranie (@oranie) 2014, 12月 14
と疑っていましたが、ついにちゃんとプレスリリースも公開され鋭意開発中との事。
「サガ」シリーズ25周年 新作「SAGA2015(仮称)」for PlayStation Vitaなど 新タイトル、新イベントを発表 | SQUARE ENIX
位置づけとしては「ロマサガ4」と言っても良いタイトルという情報を聞き、これは僕も本気を出さないといけないと思いました。いつリリースされても全力を尽くせる体制を作る必要がある。そう確信しました。
という訳で無駄な前フリ長かったですが、サイバーエージェントを退職しました。本日最終出社で今後有給消化を行い完了後晴れてニートとなります。これでSAGA2015がいつ来ても大丈夫。いつでも本気出せる。
真面目な話をするとまあテンプレに近くなってしまいますが、何か凄くネガティブな理由がある訳でもなくて、7年ほど勤めた環境をそろそろ変えてみるかというのと、この半年くらいは僕レベルで中途半端な何でも屋さん感があったがもう少しレイヤを絞った方が良いかな、という考えから退職を決意しました。もちろん普通に仕事していて怒ったりブーブー言う事もありましたが、それはどこで働いても出るレベルの奴です。居酒屋の酒の肴程度です。
今まで色んなプロジェクトにアサインして貰い、特にこの二年間くらいはCassandraなどの分散データストアに触る機会を貰い、Cassandra Summit JPNでスピーカーをさせて頂く機会が貰えるまでになれたのは確実にサイバーエージェントという環境にいたからだと思っています。もちろん、Cassandra summit JPNに限らず他の勉強会やカンファレンスでLTやスピーカーなどを出来たのは環境に限らず多くの社内、社外のエンジニアの方のおかげで成長させて貰ったのもあります。昨日デスクに積んでいる技術本を持って帰っていると「あー俺本当に明後日からここに来なくなるんだ。これから何しよう・・・。」って思う寂しさもありました。
一緒に仕事をさせて貰ったエンジニアのみんなは本当にレベルが高くて、年齢関係なく尊敬しているメンバーばかりです。つい先日も同僚が書いた本を頂いて書評的なやつを書かせて頂きましたが
「HBase徹底入門」を読みました。 - oranie's blog
や
第66回 リアルタイムメッセージ共有を実現する社内SaaS基盤:サイバーエージェントを支える技術者たち|gihyo.jp … 技術評論社
や
テックレポート - TechReport | 株式会社サイバーエージェント
など凄い事やっている人が一杯いるので刺激を貰いました。これからの活躍を心から応援しています。本当にみなさんのおかげで頑張ってこれました。本当にありがとうございました。期待に応えられなかった事も多かったと思います。恩返しも出来ないままで去ることになってしまった人もいてそこが一番の心残りです。またどこか別の機会に一緒に仕事を出来る事になれば宜しくお願い致します。
最後に流行のAmazonウィッシュリストを公開します。「おれのさいきょうのウィッシュリスト」なので、見て楽しんで頂ければ幸いです。ポチると一瞬でクレジットカードが止まると思いますのでほんとやめろよ!押すなよ!
という訳で次の職場はこれからゆっくり探す感じになります。お前ごときがどこかの怪人大物みたいな真似してんじゃねーよ!って叱られそうですが、ここ最近は多少不摂生な生活を送っていた事もあり、この期間に運動したりなど改めて体調を整えたいとも考えているので少し長めの休みも辞さない感じで考えております。もちろん早めに決まれば普通に有給消化後に晴れて転職となります。
長文失礼しました。
おしまい。
golangで雑なslack botを作りました。
タイトルそのまま。勉強がてらslack botを作ってみた。やった事はRubotyのruboty-google_imageとか、他のGolangで既にあるslack ライブラリの劣化パクリです。
r7kamura/ruboty-google_image · GitHub
ソースはこれ。
oranie/slack-bot-golang · GitHub
書いてみて思ったのは、slackのoutbound webhookがデータをJSONで投げてくれなかったので面倒だった事が分かりました(小並感
とりあえずherokuで動かしています。実際の動作はこんな感じ。
「画像も立てずにスレ立てとな?」とは言わず、自分から画像を貼る意識の高い麻呂をslackに登場させる事が出来ました。
やる事としては通常のherokuの使い方はまあ一旦置いておいて、golangでやらなければいけない事として
Goで作ったアプリをherokuに上げるときのメモ - from scratch
を参考にしました。
あと、Godepsでsaveする時に$GOPATH配下でプロジェクトを置かないとjsonファイルは作ってくれるが_workspace配下にファイルちゃんと置いてくれずherokuへのアップロードで失敗しまくりました。herokuへのデプロイさえ完了すれば、あとはslackのoutbound webhookで適当に条件設定して、inbound webhookで出てくるURLを
heroku config:add で設定してあげればPOSTしてくれるので大変簡単でした。ChatOpsには憧れるけど、js書いた事が無いのでhubotは勉強面倒くさいなぁ、と思っていたけど自分で書いたら簡単な設定すれば色々出来そうなので、オレオレツールでどこかで使っていこうと思います。
おしまい。
「HBase徹底入門」を読みました。
「HBase徹底入門」という本を同僚が書き、クレクレ言いまくったら苦い顔されて快くおこぼれを頂くことが出来ました。
今までHBaseと言えば良く知らないけど
構築の容易さという意味では couchbase < cassandra <<<<<<<<<<<<<<<<<<<<<|圧倒的な超えられない壁|<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< Hbase というイメージ。ソースは俺。
— oranie (@oranie) 2013, 9月 3
Hbaseとflumeはinstall作業で運用できるかどうかをふるいに掛けている感がある。
— oranie (@oranie) 2013, 9月 3
簡易・・・ RT @repeatedly: HBaseが簡易じゃない,というツッコミは野暮か… > "HBaseを使って簡易アクセス解析サービスを作ってみよう" http://t.co/TC5vpiVeyg
— oranie (@oranie) 2013, 7月 12
というようなツイートをしまくって、おそらく同僚からは「マジで知りもしないで言いやがって・・・(#^ω^)ピキピキ」という僕だったので大変勉強になりました。
HBase徹底入門 Hadoopクラスタによる高速データベースの実現
- 作者: 株式会社サイバーエージェント鈴木俊裕,梅田永介,柿島大貴
- 出版社/メーカー: 翔泳社
- 発売日: 2015/01/28
- メディア: 大型本
- この商品を含むブログを見る
おおまかに紹介すると
といった内容が網羅されておりまさしく「徹底入門」の名にふさわしい内容なのではないでしょうか。特にCassandraの運用経験がある自分としてはクラスタ構築、運用もそうだが、障害対応やチューニングの内容が「初めて触るならこの辺絶対に知りたいなぁ」って内容が書かれているのでとても参考になる。まさに
「ちょっとHBaseのオペレーションも勉強します」とか言ってしまって首が締まっている感凄い。10日で覚えるHbaseとかいつ出るのかな。
— oranie (@oranie) 2013, 6月 11
この時に欲しかった本だと思う。この時の自分に渡してあげたい。
障害対応項目などは「このノードが死んだら」だけではなく、運用担当としては考えたくないけどありうる「このノードが死んでそのまま復活できない時は」という点も書かれており非常に助かる内容になっている。また、チューニングについては各パラメータがそもそも何を指し示しているのか、それを弄るとどういう事が起きるのか、という点まで記載されているのも嬉しい限りです。
とりあえず分散データストア入門本としても「どういう事までケアをしないといけないのか」というのが網羅的に分かるし、「会社に気づいたらHBaseがあって運用担当になりそう」という人は是非買うと良いと思いますよ。
著者の三人の今までの苦労がキラキラとした結晶になっている本だと思います。これからも運用頑張ってね(・ω<)
golangでunsupported protocol scheme "" というエラーが出た場合
理由はおそらくURLの記述間違えているパターン。
例としてslackのAPIを叩きたい時に僕は
resp, err := http.PostForm("https://hooks.slack.com/ 〜〜略〜〜
と書くべき所を
resp, err := http.PostForm(" https://hooks.slack.com/ 〜〜略〜〜
とhttpsの前にスペース入れているのを気づかなくて、このunsupported protocol scheme "" というエラーが出ました。
年末なのではてなブログへ移行しました&今年の雑記
フォロワーのブログのはてブ数を調べてみた - mikedaの日記
この記事にブログ書いているおじさんみんながハートを鷲掴みにされ、ブクマ数を統合するために移行した人もいたので、僕もせっかくなのでいい機会なので移行してみた。
で、今年の雑記としては
2014年ブログ記事は29件で、割りとジャンルはバラけた・・かな・・・?
2014-01-01から1年間の記事一覧 - oranie's blog
途中からAndroidの記事を書いていたがすぐに書かなくなっている所が僕らしくて良いですね。理由としては単純で8月以降Androidの簡単なモック書いたり勉強していたが、色々またありまして今はサーバサイドのアプリをちょろっと書きつつ、AWSの構築とかほか雑用おじさんをやっていました。なので、Androidはキャッチアップはしつつ自分はコード書いていないというまあお察し下さいという状況です。まあ、個人的にはこの機会でも無ければ手を出さなかったジャンルだったので基礎だけでも知れたのは良かったです。
今年は自分の中で大きなイベントとしては、色々あったことで技術的にひと通りつまみ食いをしたという所でしょうか。
来年の抱負としては、こういうつまみ食いをいつまでもしている場合では無いので、もう少し注力する部分などを色々と考えて行きたいなと思います(小並感
あと移行したので、良い機会なのでまたブログのタイトルを考えてみます。はてなダイアリーで良いタイトルが無いと言って思いつきで公募したら「iをgに変えたらorangeになることに気づいたoranieの日記」というタイトルを付けてくれた@repeatedlyさんありがとうございました。