今年はなんと言ってもfluentdというか、このプロダクトのお陰で自分自身も色々と勉強をさせてもらう事が非常に多く本当にありがとうございました。これからの開発も期待しています。そして微力ながら今後も何かで役に立てれば嬉しいですね。そしてGrowthFore…

今監視ではmonを利用しているんですが、cassandraノードでpendingが出ていた場合にアラートを鳴らすためのスクリプトを書きました。 基本的にはnodetool tpstatsを各ノードに実行して監視しているだけですが、nodetoolの実行が重いのでParallel::ForkManager…

詳しいアーキテクチャなどは今後おいおい・・・なんですが、とりあえず公開されていますよ、という紹介記事です。自分たちで使っているので言うのも何ですが、非常に素晴らしいツールで是非良かったら試してみて欲しいです。何をするツールなのかというと、a…

何が問題？ VMware ESXi5系(4系もかも)のVM（今回はCentOS5.4 64bit td-agent-1.1.10.3-0）同士でfluentdを使うと、td-agent.logに以下の様なエラーが吐かれる場合があります。 2012-11-07 23:08:10 +0900: temporarily failed to flush the buffer, next re…

ウィークリーFluentdユースケースエントリリレー #1の記事です。fluentdを使う上で最も多くの人が使うであろう基本中の基本、tailプラグインの仕様を日本語にした内容＋以前教えてもらった内容をまとめてみます。 公式ドキュメント：http://fluentd.org/doc/…

ウィークリーFluentdユースケースエントリリレーの記事をまとめます。 書いた人はhttp://www.zusaar.com/event/415005で次の人に順番が来たと教えてあげて下さい。 ウィークリーとか書いているけど、早く書けたらバンバン回しちゃってね！あと、参加人数が想…

こんにちは。みなさん元気ですか？ 僕は最近Cassandraで四苦八苦していますが元気です（棒 YAPC後夜祭でも、多分一人だけ障害対応していました。 で、話は変わりまして前にfluentd meetup #2で@frsyukiさんに「fluentdドキュメント日本語版とか有志で作って…

まんまですな。ググっても意外と情報が散在しているので、オフィシャルのドキュメントをメモっておく。場所は http://wiki.nginx.org/HttpLogModule Verは1.2.2-1で確認 見なきゃいけない所 HttpLogModuleにログの仕様書かれている。 で、デフォルトから真っ…

現在脳内で考えているだけの妄想ブログです。 監視を行う際に「ユーザーと同じ振る舞いをして問題が無いか」という事を監視に組み込もうと考えた。 そうすると、Webシナリオの作成はJMeterでブラウザの動作をキャプチャしてそれをシナリオに使うか、selenium…

やあ (´・ω・｀) ようこそ、バーボンハウスへ。このテキーラはサービスだから、まず飲んで落ち着いて欲しい。うん、また「同じグループ会社」なんだ。済まない。仏の顔もって言うしね、謝って許してもらおうとも思っていない。でも、退職エントリを見たとき…

今日が今の職場の最終出社日です。今の職場は4年弱勤めたことになります。なぜ職場を変える事にしたかというと、まさかの真・女神転生4が発表されたのでぼくも本気を出す今までの職務としては調整7〜8割、自分で手を動かすのを2〜3割くらいの比率でやってい…

昨日開催されたMonitoring Casual http://atnd.org/events/29621 に行ってきました。感想は、本当に勉強になったなーという感じです。みんなの話を聞くと、Nagios一つとっても自分が設定していた粒度、精度、効率化がまだまだ甘く、今後台数が増えてきたりし…

とりあえず試したので、実際の内容とかはこちらの参考にしたブログ 「Jenkinsで定期実行するJobを管理したほうが良い３つの理由」 を参照した方が良いと思います。以下は試した内容に画像つけたくらいです。 こんな感じのスクリプトを管理してみる。 Jenklin…

基本全プラグインが対象だと思います！！僕はmongoプラグインの影響しか試していませんので、その点を差し引いて下さい。 簡単に言うとmongoプラグインの場合、書く順番でtimeプロパティが追加されちゃう。 2012-05-25T19:36:49+09:00 apache.access {"XFF-h…

使っている人はそんなの知っているよ！という話になるので、あんまり新しい話は無いです。どちらかというと「oranieさんって優しいと思っていたのにディスりまくる人なんだ・・・・」って印象を持っている人への言い訳です！あと、本当にCacti詳しい人からし…

つらつらとカジュアルな話でしたが、聞いて頂いた皆様ありがとうございました！！資料は一応上げておきます！ Fluentd casual View more presentations from oranie 会場を用意してくれたDeNAさん（@riywo++）、そして主催者のid:tagomorisさん、そして改め…

設定とかの話 環境：SL6.2 64bitでやりました。http://blog.nomadscafe.jp/2011/12/growthforecast.html http://d.hatena.ne.jp/tagomoris/20120218/1329558305 のままです。今Cacti使っているけど、fluentd＋datacounterとかでガンガングラフ作ろうと思うと…

Fluentd v11 設計案が先日リリースされました！ 主要なトピックは実現されると嬉しい（特にin_fowardの性能周り）ので、それに付随する小さな希望を書いてみます。ちゃんと理解出来ていなくてかぶっていたり、既にその機能あるぞ！の場合はごめんなさい＞＜ …

とりあえず題名そのまま。ログの送信種類を増やして行ったら受信する側のwarnが多発して、途方に暮れたという話です。 状況について Verはtd-agent-1.1.5.1-0.i386（Webサーバ側）と/td-agent-1.1.5.1-0.x86_64（中間fluentd、いろいろ処理するfluentd）各We…

今日から「iをgに変えるとorangeになることに気づいたoranieの日記」です。@repeatedlyさんありがとう！みんなよろしくね！

設定とかはこの辺読んでね。 http://d.hatena.ne.jp/oranie/20120417/1334662934 タイトルそのまま fluentd入れてちょっとした判定を行なってデータ数とかをカウントしたり積算するにはfluentd-plugin-datacounterだけでは厳しいので、とりあえずMongoDBにぶ…

ナニコレって人は詳細はこれ見てね。 何するの？ epelからlibyaml0.1.2-3系（RHEL5用）を持ってきて、インストールしておくだけ。 http://pkgs.org/centos-5-rhel-5/epel-x86_64/libyaml-0.1.2-3.el5.x86_64.rpm.html http://pkgs.org/centos-5-rhel-5/epel-…

以下の内容はTLを追っかけて読んで僕が適当にまとめているだけなので、詳細はオフィシャル等の情報できちんと確認しましょう。 どういう事？ id:sfujiwaraさんがつぶやいていたのを追っかけただけですが、RHEL6系（と言っておきながら、確認出来ているのはSL…

なんで？ 前から「おめーのブログ見にくい！」とディスられており、少しは良く出来ないかと急に思い立った次第でございます。 で、なんとか出来ないかなーとはてなブログのデザイン弄ったりしたけど、あんまり変わらないし、まあいいやーとか思っていたら @o…

fluentd+mongo-plugin+MongoDBでオシャレにログを貯めこんでみようと思いました。 構築はこちらのblogを参考にほぼそのままポチっただけ。 http://d.hatena.ne.jp/wyukawa/20120207/1328625443 まず下準備 fluentdで構造化した場合にログ出しているホストのf…

来る5/18にめでたくFluentd Casual Talksが開催される事になり、Fluentd技術的な話枠というよりはCasual枠でトークをさせて頂く事になりました！ Fluentd Casual Talksこれも日頃からCasual力を上げていたおかげですね。id:tagomorisさんありがとうございま…

やりましたよ。今回はこれ。 http://atnd.org/events/26493 ■Apache2.4 新機能とかについて ■Varnishについて ■Webサーバログ運用について（主催者の個人的なfluentdブームです。）参加して頂いた方のブログは以下の通り！ id:nappa_zzzさん Webサーバ勉強会…

今日こんな事をつぶやいた。#fluentd in_tailで読み込むファイルのシンボリックリンクを切り替えると、初めから終りまでのデータを一気に送信する仕様で合っているよね？挙動とコードの中でposが@file.write "0000000000000000\t00000000\n"になっているし。…

結構既出な内容ですが、思いっきりハマったので改めて。 ●fluentd→fluentdの通信時にfowardを使おうとしたらエラーになる。 ※追記 VMwareの場合はこっちを参考に。fluentdじゃなくてVMwareの問題というパターンもあり。 http://d.hatena.ne.jp/oranie/201211…

そのまま。5カラムあるなら こんな感じ。カラムが増えたら適当に足せばOK。メモでした。