サーバ/インフラエンジニア養成読本「ログ収集〜可視化編」を頂きました！

改めて著者の方々と実際に僕に本を送付する手配をして頂いた@yoshi_kenさん本当にありがとうございます。

社内の他のエンジニアが「本頂きました！^^」とかのツイートをしている*1のを見る度に「ブルジョワが！( ﾟдﾟ)､ﾍﾟｯ」とか思っていたらついに僕も貰える時が来るなんて・・・。もう二度とこんな機会はこなさそうなので、保存版として額に入れておこうかと思いましたが、せっかくなので読んでみました。

特集1「ログ解析から始めるサービス改善」

ここではまず「なぜログ解析をする必要があるのか？」「何のためにそもそもやるの？」という事が分かりやすく書かれているかなと思います。特にログは大規模であれば膨大な量や情報を抱える為、やみくもに「これも取ってみよう」「あれも計測してみよう」という事をやっても結局「そもそもなんでこれ必要なんだっけ？」で終わるパターンもあるので、まずここを読んで自分に必要な事を再認識する事が必要ですね。その中であるケーススタディを用い解析するにはどのようにするのか、という一連の流れが書かれていて分かりやすいと思います。

特集2「ログ収集ミドルウェアfluentd徹底攻略」

ここでは実際にログ収集をするために、fluentdを用いて収集する方法を具体的に解説しています。fluentdはだいぶオフィシャルサイトや個人ブログ、技評さんの本でも特集が組まれていたりでだいぶ情報が増えていますが、いかんせんfluentdは本体とプラグインの開発が非常に活発なので、1年前の情報が今ではもう・・・みたいな状況になっている部分もある可能性があり、そういう意味では2014年時点で最新のガイドになっているのでは無いでしょうか。
特に誰もが欲しかった「fluentd プラグイン逆引きガイド」を書いてくれているのはありがたいと思います。これで「こんな情報楽に取れないかな」「途中で楽に加工とか出来ないかな」「ここにデータをストアしたいけど出来るのかな」とかの悩みが減るんじゃないでしょうか。
もちろんそれ以外にも基礎的な使い方や、実際によく使うミドルウェアを用いた例、どうやって運用するか、fluentd自体の監視などのきめ細かい内容が書かれている為、fluentdを今使っている人でも読んでおくと色々参考になる情報が多かったです。

特集3「Elasticsearch入門」

fluentd使い始めの頃は「ログを収集してMongoDBに入れる・・・ログを収集してMongoDBに入れる・・・」というのが割りと一般的だった気がしますが、それを可視化する上での手法やMongoDBのキャパシティ的な問題（capped collection使うレベルに収める方が良いというベストプラクティス）やそれをどう検索して必要な情報だけ取得するかなど色々ケアしなければ事があった気がしますが、今はそこをElasticsearchでやる事で、可視化やキャパシティ（まあデータ入れすぎると結局同じ問題出るけど）やストアしたデータへの検索などを解決しているのが主流な感じですね。で、そのElasticsearch自体を解説している章になっています。これを読むとElasticsearch自体のアーキテクチャやどのようにデータ格納すべきか、またどのようにデータを検索すべきか等がわかりやすく記述されていると思います。気になる運用周りやプラグインの紹介もあるので導入する時にまず読んでおくと良いんじゃないでしょうか。入門編なのであれですが、個人的にはJVM周りのチューニングヒントとかelasticsearch.yaml周りの解説、バックアップ・リカバリ、データサイズやリクエスト数によるスペック見積もり等もあると嬉しかったです。

特集4「可視化ツールKibanaスタートガイド」

Kibana自体の日本語のドキュメントとかは余り無く、実際にどのように設定すればどのようなグラフになるのか？という事が非常に分かりやすく解説されていると思います。Kibanaをとりあえずインストールしてみても「これ・・・どこをどういじればいいの・・・？」ってなりがちだったんですが、この特集で分かりやすく記述されているので、Elasticsearchにさえ入っていればもう可視化なんて簡単！という感じなんじゃないでしょうか。個人的には同僚が作ったKibanaで、複数人で更新が頻繁に入るダッシュボードを見るとElasticsearchが悲鳴を上げたりした経験があったので、nginxの分散時にキャッシュの設定だったりとかの参考例まで入っていると嬉しかったです。Elasticsearch自体の負荷が参照によって高まっているとfluentdからの書き込みにも影響が出る可能性があるので。

という訳であーだー勝手な事書きましたが、是非オススメな本なのでみんな買うと良いですよ。

*1:主にid:namikawaさんとか