読者です 読者をやめる 読者になる 読者になる

oranie's blog

旧:iをgに変えると・・・なんだっけ・・・

Cassandra nodetool repairの挙動について教えて貰ったのでまとめ

題名そのまま。repairの挙動をdatastaxのドキュメント読んでも良く分からない、ヽ(`Д´#)ノ ムキー!!となっている所をまたも@yukimさんに教えて貰いました。 なので忘れないようにメモです。 nodetool repairとは nodetool --helpで出力されている使い方は以下の…

※追記あり。webサーバ勉強会 久しぶりにやります。

【再追記】 2013/6/10時点で参加者が集まらなかったので一旦見送りにします(´・ω・) 少し時間置いて同じお題か他のお題絡めて再開催を検討。【追記】 すみません、僕のアレがコレで申し訳無いんですが開催日時を当初日程は5/23,24くらいと書きましたが、6月1…

【チラ裏】あなたは本当にそのデータストアが好きで使うんですか?

チラシの裏的な雑記です。サービスに新しいデータストアを選ぶ際にこの辺を情熱を持って説明してくれる人が好き、という話です。 そのデータストアを使う理由はなんですか?みんなが使い慣れている物から変える理由は「有名な会社が使っていて^^」「他のチ…

MySQL5.6で今までのVerでは問題無かったSQL文がエラーになった場合の対処法

追記:記事の文中で5.6のsql_modeデフォルト値について若干実際の挙動と異なる表記をしていました。rpmでinstallすると/usr/my.cnfというのがひょっこりいて、この中に [mysqld] sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES という記述があり、こ…

fluentd(td-agent)で、td-agent.logのローテートをとりあえずする方法

追記: やっぱこれをみんな悩むよね・・・と思って改めて色々ググり直したら思いっきり既知の問題かつ同じ手法(logrotateを使用する方法)でISSUEにも上がっていました。RHEL系でのtd-agent.specに既に書かれているのでリリース待ちですね。 https://github…

cassandraを運用していて困っていること

※2013/03/05に追記 Yuki Morishita(@yukim)さんより以下のエントリについてアンサーを貰いました!!! https://gist.github.com/yukim/5086476 - なんか呟いたら「m9(^Д^)プギャー」な意味なのかRTとかがついたので、まとめておこう。きっと「これやれば解決…

PerlでJavaプロセス状態をjmxの値を見て閾値チェックするmonプラグイン書いてみた

多分一杯あるんだろうけど書いてみた。と言っても全部perlじゃなくてJboss Monitoring with check_jmxというのを利用している。普通にNagiosとかだったらこのまま使えば良いと思いますよ。僕はmonで利用するのと、一部の値はパーセンテージを計算したかった…

CROSS 2013「継続的サービス改善のゲンバのハナシ」で喋ってきました。

題名そのままですが喋ってきました。 http://www.cross-party.com/programs/?p=141まずはセッションオーナーの@tagomorisさん、登壇者でご一緒させて頂いた@kentaroさん、@silver_sさん、@tokorotenさん、そしてセッションを聞いて頂いた皆様ありがとうござ…

2012年のまとめ的なやつ

今年はなんと言ってもfluentdというか、このプロダクトのお陰で自分自身も色々と勉強をさせてもらう事が非常に多く本当にありがとうございました。これからの開発も期待しています。そして微力ながら今後も何かで役に立てれば嬉しいですね。そしてGrowthFore…

cassandraサーバのpending値を監視するスクリプト書いてみた。

今監視ではmonを利用しているんですが、cassandraノードでpendingが出ていた場合にアラートを鳴らすためのスクリプトを書きました。 基本的にはnodetool tpstatsを各ノードに実行して監視しているだけですが、nodetoolの実行が重いのでParallel::ForkManager…

僕らが日々使っているproteus-monitorが公開されています+インストール方法

詳しいアーキテクチャなどは今後おいおい・・・なんですが、とりあえず公開されていますよ、という紹介記事です。自分たちで使っているので言うのも何ですが、非常に素晴らしいツールで是非良かったら試してみて欲しいです。何をするツールなのかというと、a…

#fluentd VMware+fluentdで「no nodes are available」が出てしまう問題と対処方法

何が問題? VMware ESXi5系(4系もかも)のVM(今回はCentOS5.4 64bit td-agent-1.1.10.3-0)同士でfluentdを使うと、td-agent.logに以下の様なエラーが吐かれる場合があります。 2012-11-07 23:08:10 +0900: temporarily failed to flush the buffer, next re…

fluentd tailプラグインの仕様について

ウィークリーFluentdユースケースエントリリレー #1の記事です。fluentdを使う上で最も多くの人が使うであろう基本中の基本、tailプラグインの仕様を日本語にした内容+以前教えてもらった内容をまとめてみます。 公式ドキュメント:http://fluentd.org/doc/…

ウィークリーFluentdユースケースエントリリレーまとめ(現在12本まで。)

ウィークリーFluentdユースケースエントリリレーの記事をまとめます。 書いた人はhttp://www.zusaar.com/event/415005で次の人に順番が来たと教えてあげて下さい。 ウィークリーとか書いているけど、早く書けたらバンバン回しちゃってね!あと、参加人数が想…

ウィークリーFluentdユースケースエントリリレーはじめてみます

こんにちは。みなさん元気ですか? 僕は最近Cassandraで四苦八苦していますが元気です(棒 YAPC後夜祭でも、多分一人だけ障害対応していました。 で、話は変わりまして前にfluentd meetup #2で@frsyukiさんに「fluentdドキュメント日本語版とか有志で作って…

【メモ】nginxのログに出せる情報

まんまですな。ググっても意外と情報が散在しているので、オフィシャルのドキュメントをメモっておく。場所は http://wiki.nginx.org/HttpLogModule Verは1.2.2-1で確認 見なきゃいけない所 HttpLogModuleにログの仕様書かれている。 で、デフォルトから真っ…

Webシナリオ監視にJenkinsを使う妄想してみた。

現在脳内で考えているだけの妄想ブログです。 監視を行う際に「ユーザーと同じ振る舞いをして問題が無いか」という事を監視に組み込もうと考えた。 そうすると、Webシナリオの作成はJMeterでブラウザの動作をキャプチャしてそれをシナリオに使うか、selenium…

新しい会社に入社しました。

やあ (´・ω・`) ようこそ、バーボンハウスへ。このテキーラはサービスだから、まず飲んで落ち着いて欲しい。うん、また「同じグループ会社」なんだ。済まない。仏の顔もって言うしね、謝って許してもらおうとも思っていない。でも、退職エントリを見たとき…

【チラ裏】退職しました。

今日が今の職場の最終出社日です。今の職場は4年弱勤めたことになります。なぜ職場を変える事にしたかというと、まさかの真・女神転生4が発表されたのでぼくも本気を出す今までの職務としては調整7〜8割、自分で手を動かすのを2〜3割くらいの比率でやってい…

Monitoring Casualに行ってきました。

昨日開催されたMonitoring Casual http://atnd.org/events/29621 に行ってきました。感想は、本当に勉強になったなーという感じです。みんなの話を聞くと、Nagios一つとっても自分が設定していた粒度、精度、効率化がまだまだ甘く、今後台数が増えてきたりし…

Jenkinsでcron実行管理をやってみた。

とりあえず試したので、実際の内容とかはこちらの参考にしたブログ 「Jenkinsで定期実行するJobを管理したほうが良い3つの理由」 を参照した方が良いと思います。以下は試した内容に画像つけたくらいです。 こんな感じのスクリプトを管理してみる。 Jenklin…

#fluentd fluentdでtype copyを使う時書く順番で破壊的な変更が影響を及ぼす件

基本全プラグインが対象だと思います!!僕はmongoプラグインの影響しか試していませんので、その点を差し引いて下さい。 簡単に言うとmongoプラグインの場合、書く順番でtimeプロパティが追加されちゃう。 2012-05-25T19:36:49+09:00 apache.access {"XFF-h…

fluentd Casual Talksで触れたCactiについて良い所にも触れてみる。

使っている人はそんなの知っているよ!という話になるので、あんまり新しい話は無いです。どちらかというと「oranieさんって優しいと思っていたのにディスりまくる人なんだ・・・・」って印象を持っている人への言い訳です!あと、本当にCacti詳しい人からし…

#fluentd fluentd Casual Talksでスピーカーをさせて頂きました。

つらつらとカジュアルな話でしたが、聞いて頂いた皆様ありがとうございました!!資料は一応上げておきます! Fluentd casual View more presentations from oranie 会場を用意してくれたDeNAさん(@riywo++)、そして主催者のid:tagomorisさん、そして改め…

#fluentd GrowthForecastでグラフ描画がエラーになってしまう対処方法

設定とかの話 環境:SL6.2 64bitでやりました。http://blog.nomadscafe.jp/2011/12/growthforecast.html http://d.hatena.ne.jp/tagomoris/20120218/1329558305 のままです。今Cacti使っているけど、fluentd+datacounterとかでガンガングラフ作ろうと思うと…

#fluentd Fluentd v11 設計案が出たので、直接では無いけど今使っていて改善を希望している所を書いてみる。

Fluentd v11 設計案が先日リリースされました! 主要なトピックは実現されると嬉しい(特にin_fowardの性能周り)ので、それに付随する小さな希望を書いてみます。ちゃんと理解出来ていなくてかぶっていたり、既にその機能あるぞ!の場合はごめんなさい>< …

#fluentd fluentdでログ集約する際にwarnが多発した件

とりあえず題名そのまま。ログの送信種類を増やして行ったら受信する側のwarnが多発して、途方に暮れたという話です。 状況について Verはtd-agent-1.1.5.1-0.i386(Webサーバ側)と/td-agent-1.1.5.1-0.x86_64(中間fluentd、いろいろ処理するfluentd)各We…

blogタイトル変えました

今日から「iをgに変えるとorangeになることに気づいたoranieの日記」です。@repeatedlyさんありがとう!みんなよろしくね!

#fluentd RubyでApache→fluentd→mongodbに入れたデータをカウントする方法のメモ

設定とかはこの辺読んでね。 http://d.hatena.ne.jp/oranie/20120417/1334662934 タイトルそのまま fluentd入れてちょっとした判定を行なってデータ数とかをカウントしたり積算するにはfluentd-plugin-datacounterだけでは厳しいので、とりあえずMongoDBにぶ…

#fluentd td-agent-1.1.4:libyaml依存性問題について推奨しない回避方法

ナニコレって人は詳細はこれ見てね。 何するの? epelからlibyaml0.1.2-3系(RHEL5用)を持ってきて、インストールしておくだけ。 http://pkgs.org/centos-5-rhel-5/epel-x86_64/libyaml-0.1.2-3.el5.x86_64.rpm.html http://pkgs.org/centos-5-rhel-5/epel-…

#fluentd td-agent-1.1.4でのRHEL6系libyaml依存性問題について

以下の内容はTLを追っかけて読んで僕が適当にまとめているだけなので、詳細はオフィシャル等の情報できちんと確認しましょう。 どういう事? id:sfujiwaraさんがつぶやいていたのを追っかけただけですが、RHEL6系(と言っておきながら、確認出来ているのはSL…

全世界で3人ぐらいの読者の為に弊ブログが見やすくなりましたよ。

なんで? 前から「おめーのブログ見にくい!」とディスられており、少しは良く出来ないかと急に思い立った次第でございます。 で、なんとか出来ないかなーとはてなブログのデザイン弄ったりしたけど、あんまり変わらないし、まあいいやーとか思っていたら @o…

fluentd+mongo-plugin+MongoDBでコレクション名にハマったけど、僕がバカなだけでした。

fluentd+mongo-plugin+MongoDBでオシャレにログを貯めこんでみようと思いました。 構築はこちらのblogを参考にほぼそのままポチっただけ。 http://d.hatena.ne.jp/wyukawa/20120207/1328625443 まず下準備 fluentdで構造化した場合にログ出しているホストのf…

Fluentd Casual Talksでトークさせて頂く事になりました。

来る5/18にめでたくFluentd Casual Talksが開催される事になり、Fluentd技術的な話枠というよりはCasual枠でトークをさせて頂く事になりました! Fluentd Casual Talksこれも日頃からCasual力を上げていたおかげですね。id:tagomorisさんありがとうございま…

Webサーバ勉強会#5をやりましたよ&fluentd使ってみた的な話しました。

やりましたよ。今回はこれ。 http://atnd.org/events/26493 ■Apache2.4 新機能とかについて ■Varnishについて ■Webサーバログ運用について(主催者の個人的なfluentdブームです。)参加して頂いた方のブログは以下の通り! id:nappa_zzzさん Webサーバ勉強会…

#fluentd in_tailの挙動について把握出来ていなかったまとめ

今日こんな事をつぶやいた。#fluentd in_tailで読み込むファイルのシンボリックリンクを切り替えると、初めから終りまでのデータを一気に送信する仕様で合っているよね?挙動とコードの中でposが@file.write "0000000000000000\t00000000\n"になっているし。…

#fluentd fluentd(td-agent)構築時に気をつけるポイントについて[2012/3/26 追記あり]

結構既出な内容ですが、思いっきりハマったので改めて。 ●fluentd→fluentdの通信時にfowardを使おうとしたらエラーになる。 ※追記 VMwareの場合はこっちを参考に。fluentdじゃなくてVMwareの問題というパターンもあり。 http://d.hatena.ne.jp/oranie/201211…

#fluentd fluentdでcsvファイルのログをin_tailで読むconfig

そのまま。5カラムあるなら こんな感じ。カラムが増えたら適当に足せばOK。メモでした。

#fluentd fluentd+fluent-plugin-datacounterでログの可視化が便利すぎてもう死ぬしか無い

みんな大好きfluentdネタです。というか、fluentd+fluent-plugin-datacounterが最強過ぎる。 便利すぎて生きているのが辛いどころか死ぬしか無いくらい。 ※そもそもfluentdって何?って人は前のエントリとか読んでみて下さい。 まだ障害発生時の動きとか自…

#fluentd include httpを使ったけど上手くいかなかったのは、僕のせいでした。

タイトルのままです。http://d.hatena.ne.jp/oranie/20120312/1331540191 で上手く行かねーって書いていたのは、やっぱり出力時のエスケープでした>< こんな感じでエスケープしなきゃいけないのにしていなかったので、 「\」とかが、ところどころお亡くな…

#fluentd include httpを使ったけど、上手くいかなかった。※追記あり

※次のエントリで解決した内容を書いています。 タグにログを投げる自分自身のホスト名とか付けたくて、それをconfigに書くとか面倒臭いので なんとか出来ねーかなーとかぼやいていたら、 @oranie includeでhttp使って、srcIPによって返すconfigを変えるとか…

大学卒業しました。

いい年している上に1年留年しましたが、やっと大学卒業する事が出来ました。 なんだかんだで大学は楽しかったです。 エンジニアとは直接関係無い学部でしたが、 だからこそ色々と見識を広げることが出来たのかなーと思っています。 年の離れた友人も出来たの…

MySQL Casual Advent Calendar 2011 EPUBが出ましたよ

MySQL Casual Advent Calendar 2011 EPUBが出ましたよ。 URLはこれ。 https://gihyo.jp/dp/sp/advent2011/G11C05 21日目に前回の記事「MySQLに対して、カジュアルにやってはいけない事をやってみよう」を載せて頂きました! これからは「著書あります(キリッ」…

#fluentd やっつけのdatacounterプラグイン用cactiの整形プラグインも書いた

まあ、やっている事はNagiosのとあんま変わらないです。 datacounterで以前オシャレにリクエスト数のcount、rate、percentageを取れるという事を書きましたが、 http://d.hatena.ne.jp/oranie/20120223/1329977487 出力されたログをCacti用に整形するプラグ…

#fluentd やっつけのfluentd監視用Nagiosプラグインを書いた

まあ、そのまんまです。fluentdの死活監視を考えた時に ポートチェック プロセスチェック 等がありますが、せっかくなので監視ログが一定時間以内に流れてくるかどうか という監視も入れてみようと考えました。 これはプロセスの正常性と合わせて、fluentd側…

#fluentd fluent-plugin-datacounterがリリースされたので試してみた。

タイトルまんまですね。 fluentdを導入する目的で、一番欲しかった物がリリースされて本当に id:tagomorisさん++ です。 プラグインの詳細はこちら。 fluent-plugin-sampling-filter and fluent-plugin-datacounter released! #fluentd で、実際に試してみた…

Apacheのデフォルトconfigを見る時に効率を上げる。

id:akuwanoさんが http://d.hatena.ne.jp/akuwano/20120221#1329791289 でブクマを稼いで悔しいので、僕もなんとか無い知恵ひねり出してみて とりあえず今更感満載なコマンドを書いてみる。 基本的に運用するconfigをデフォルト状態から追記するというのは …

「DELLサーバのRAIDを監視してmuninでメール通知」の助けになれば

DELLサーバのRAIDを監視してmuninでメール通知 素晴らしい手順エントリで、最後のオチも良かったのでw さっきのエントリの途中まで実行し、omreportコマンドが実行出来る様になったら、 [oranie@hogehoge]# omreport storage pdisk controller=0 List of Ph…

fluentdのブログ記事などまとめメモ

自分もfluentdのビッグウェーブに乗ろうとして、試す上で色々検索しているけど、 しょっちゅう同じサイト見たりしている。 なので、メモとしてよく見るサイトとかを書いておく。 - 勝手に載せんな!!というのがあれば、申し訳無いですが言って頂ければ 削除…

複数ファイルが固められた圧縮ファイル(tar.gz、zipとか)を

[メモ]複数ファイルが固められた圧縮ファイル(tar.gz、zipとか)を標準出力する方法 いつも忘れるのでメモ。 例えば、1.txt、2.txt、3.txtみたいなテキストファイルがあり、それをtarかzipでそのまま固められている時、 いちいち伸長して読み込んで・・・み…