oranie's blog

旧:iをgに変えると・・・なんだっけ・・・

Cassandra 読み書き一貫性レベル(consistency Level)のまとめ

ソースは1.1.5で確認。ConsistencyLevel.javaに分かりやすく書かれていた。 行数は56-75 * Write consistency levels make the following guarantees before reporting success to the client: * ANY Ensure that the write has been written once somewhere…

ここ最近のCassandra運用の色々まとめメモ

まあそんな内容でも誰かの役に立つかもしれないのでメモを書いておく。体系だったまとめでも無いのでそんなレベルで。 運用とか http://ameblo.jp/principia-ca/entry-11514557323.html こんなブログを書いたので、そっちを見てみて下さい(ステマ テストス…

cassandra1.2系defaultのcassandra.yamlを1.1系とちょっと比較した

タイトルそのまま。今1.1系使っていて1.2.5へのアップデートを検討していて、configが結構変わっているらしいので、それらを調べてみた。 基本は今使っているとdiff取って名前変わっている奴や追加されている奴だけ記載。「>」ってついている奴は1.1系の時の…

Cassandra nodetool repairの挙動について教えて貰ったのでまとめ

題名そのまま。repairの挙動をdatastaxのドキュメント読んでも良く分からない、ヽ(`Д´#)ノ ムキー!!となっている所をまたも@yukimさんに教えて貰いました。 なので忘れないようにメモです。 nodetool repairとは nodetool --helpで出力されている使い方は以下の…

※追記あり。webサーバ勉強会 久しぶりにやります。

【再追記】 2013/6/10時点で参加者が集まらなかったので一旦見送りにします(´・ω・) 少し時間置いて同じお題か他のお題絡めて再開催を検討。【追記】 すみません、僕のアレがコレで申し訳無いんですが開催日時を当初日程は5/23,24くらいと書きましたが、6月1…

【チラ裏】あなたは本当にそのデータストアが好きで使うんですか?

チラシの裏的な雑記です。サービスに新しいデータストアを選ぶ際にこの辺を情熱を持って説明してくれる人が好き、という話です。 そのデータストアを使う理由はなんですか?みんなが使い慣れている物から変える理由は「有名な会社が使っていて^^」「他のチ…

MySQL5.6で今までのVerでは問題無かったSQL文がエラーになった場合の対処法

追記:記事の文中で5.6のsql_modeデフォルト値について若干実際の挙動と異なる表記をしていました。rpmでinstallすると/usr/my.cnfというのがひょっこりいて、この中に [mysqld] sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES という記述があり、こ…

fluentd(td-agent)で、td-agent.logのローテートをとりあえずする方法

追記: やっぱこれをみんな悩むよね・・・と思って改めて色々ググり直したら思いっきり既知の問題かつ同じ手法(logrotateを使用する方法)でISSUEにも上がっていました。RHEL系でのtd-agent.specに既に書かれているのでリリース待ちですね。 https://github…

cassandraを運用していて困っていること

※2013/03/05に追記 Yuki Morishita(@yukim)さんより以下のエントリについてアンサーを貰いました!!! https://gist.github.com/yukim/5086476 - なんか呟いたら「m9(^Д^)プギャー」な意味なのかRTとかがついたので、まとめておこう。きっと「これやれば解決…

PerlでJavaプロセス状態をjmxの値を見て閾値チェックするmonプラグイン書いてみた

多分一杯あるんだろうけど書いてみた。と言っても全部perlじゃなくてJboss Monitoring with check_jmxというのを利用している。普通にNagiosとかだったらこのまま使えば良いと思いますよ。僕はmonで利用するのと、一部の値はパーセンテージを計算したかった…

CROSS 2013「継続的サービス改善のゲンバのハナシ」で喋ってきました。

題名そのままですが喋ってきました。 http://www.cross-party.com/programs/?p=141まずはセッションオーナーの@tagomorisさん、登壇者でご一緒させて頂いた@kentaroさん、@silver_sさん、@tokorotenさん、そしてセッションを聞いて頂いた皆様ありがとうござ…

2012年のまとめ的なやつ

今年はなんと言ってもfluentdというか、このプロダクトのお陰で自分自身も色々と勉強をさせてもらう事が非常に多く本当にありがとうございました。これからの開発も期待しています。そして微力ながら今後も何かで役に立てれば嬉しいですね。そしてGrowthFore…

cassandraサーバのpending値を監視するスクリプト書いてみた。

今監視ではmonを利用しているんですが、cassandraノードでpendingが出ていた場合にアラートを鳴らすためのスクリプトを書きました。 基本的にはnodetool tpstatsを各ノードに実行して監視しているだけですが、nodetoolの実行が重いのでParallel::ForkManager…

僕らが日々使っているproteus-monitorが公開されています+インストール方法

詳しいアーキテクチャなどは今後おいおい・・・なんですが、とりあえず公開されていますよ、という紹介記事です。自分たちで使っているので言うのも何ですが、非常に素晴らしいツールで是非良かったら試してみて欲しいです。何をするツールなのかというと、a…

#fluentd VMware+fluentdで「no nodes are available」が出てしまう問題と対処方法

何が問題? VMware ESXi5系(4系もかも)のVM(今回はCentOS5.4 64bit td-agent-1.1.10.3-0)同士でfluentdを使うと、td-agent.logに以下の様なエラーが吐かれる場合があります。 2012-11-07 23:08:10 +0900: temporarily failed to flush the buffer, next re…

fluentd tailプラグインの仕様について

ウィークリーFluentdユースケースエントリリレー #1の記事です。fluentdを使う上で最も多くの人が使うであろう基本中の基本、tailプラグインの仕様を日本語にした内容+以前教えてもらった内容をまとめてみます。 公式ドキュメント:http://fluentd.org/doc/…

ウィークリーFluentdユースケースエントリリレーまとめ(現在12本まで。)

ウィークリーFluentdユースケースエントリリレーの記事をまとめます。 書いた人はhttp://www.zusaar.com/event/415005で次の人に順番が来たと教えてあげて下さい。 ウィークリーとか書いているけど、早く書けたらバンバン回しちゃってね!あと、参加人数が想…

ウィークリーFluentdユースケースエントリリレーはじめてみます

こんにちは。みなさん元気ですか? 僕は最近Cassandraで四苦八苦していますが元気です(棒 YAPC後夜祭でも、多分一人だけ障害対応していました。 で、話は変わりまして前にfluentd meetup #2で@frsyukiさんに「fluentdドキュメント日本語版とか有志で作って…

【メモ】nginxのログに出せる情報

まんまですな。ググっても意外と情報が散在しているので、オフィシャルのドキュメントをメモっておく。場所は http://wiki.nginx.org/HttpLogModule Verは1.2.2-1で確認 見なきゃいけない所 HttpLogModuleにログの仕様書かれている。 で、デフォルトから真っ…

Webシナリオ監視にJenkinsを使う妄想してみた。

現在脳内で考えているだけの妄想ブログです。 監視を行う際に「ユーザーと同じ振る舞いをして問題が無いか」という事を監視に組み込もうと考えた。 そうすると、Webシナリオの作成はJMeterでブラウザの動作をキャプチャしてそれをシナリオに使うか、selenium…

新しい会社に入社しました。

やあ (´・ω・`) ようこそ、バーボンハウスへ。このテキーラはサービスだから、まず飲んで落ち着いて欲しい。うん、また「同じグループ会社」なんだ。済まない。仏の顔もって言うしね、謝って許してもらおうとも思っていない。でも、退職エントリを見たとき…

【チラ裏】退職しました。

今日が今の職場の最終出社日です。今の職場は4年弱勤めたことになります。なぜ職場を変える事にしたかというと、まさかの真・女神転生4が発表されたのでぼくも本気を出す今までの職務としては調整7〜8割、自分で手を動かすのを2〜3割くらいの比率でやってい…

Monitoring Casualに行ってきました。

昨日開催されたMonitoring Casual http://atnd.org/events/29621 に行ってきました。感想は、本当に勉強になったなーという感じです。みんなの話を聞くと、Nagios一つとっても自分が設定していた粒度、精度、効率化がまだまだ甘く、今後台数が増えてきたりし…

Jenkinsでcron実行管理をやってみた。

とりあえず試したので、実際の内容とかはこちらの参考にしたブログ 「Jenkinsで定期実行するJobを管理したほうが良い3つの理由」 を参照した方が良いと思います。以下は試した内容に画像つけたくらいです。 こんな感じのスクリプトを管理してみる。 Jenklin…

#fluentd fluentdでtype copyを使う時書く順番で破壊的な変更が影響を及ぼす件

基本全プラグインが対象だと思います!!僕はmongoプラグインの影響しか試していませんので、その点を差し引いて下さい。 簡単に言うとmongoプラグインの場合、書く順番でtimeプロパティが追加されちゃう。 2012-05-25T19:36:49+09:00 apache.access {"XFF-h…

fluentd Casual Talksで触れたCactiについて良い所にも触れてみる。

使っている人はそんなの知っているよ!という話になるので、あんまり新しい話は無いです。どちらかというと「oranieさんって優しいと思っていたのにディスりまくる人なんだ・・・・」って印象を持っている人への言い訳です!あと、本当にCacti詳しい人からし…

#fluentd fluentd Casual Talksでスピーカーをさせて頂きました。

つらつらとカジュアルな話でしたが、聞いて頂いた皆様ありがとうございました!!資料は一応上げておきます! Fluentd casual View more presentations from oranie 会場を用意してくれたDeNAさん(@riywo++)、そして主催者のid:tagomorisさん、そして改め…

#fluentd GrowthForecastでグラフ描画がエラーになってしまう対処方法

設定とかの話 環境:SL6.2 64bitでやりました。http://blog.nomadscafe.jp/2011/12/growthforecast.html http://d.hatena.ne.jp/tagomoris/20120218/1329558305 のままです。今Cacti使っているけど、fluentd+datacounterとかでガンガングラフ作ろうと思うと…

#fluentd Fluentd v11 設計案が出たので、直接では無いけど今使っていて改善を希望している所を書いてみる。

Fluentd v11 設計案が先日リリースされました! 主要なトピックは実現されると嬉しい(特にin_fowardの性能周り)ので、それに付随する小さな希望を書いてみます。ちゃんと理解出来ていなくてかぶっていたり、既にその機能あるぞ!の場合はごめんなさい>< …

#fluentd fluentdでログ集約する際にwarnが多発した件

とりあえず題名そのまま。ログの送信種類を増やして行ったら受信する側のwarnが多発して、途方に暮れたという話です。 状況について Verはtd-agent-1.1.5.1-0.i386(Webサーバ側)と/td-agent-1.1.5.1-0.x86_64(中間fluentd、いろいろ処理するfluentd)各We…