Google BigQueryにMySQLのデータを入れる | Ore no homepage
肋骨が折れたかもしれん。痛え。それは置いといて…BigQuery。処理能力を体感したかったのでとりあえずMySQLの本番データをつっこんだ。fluentdでログも突っ込んでるんだけど、そっちはデータが溜まってないからまだおもしろくないかな。それについてはまた別途。まあ、fluentdでデータ突っ込むのはいろんな人がqiitaとかブログに上げてるし書くまでもないかもしれないけどね。 0. 作業の流れ MySQLからダンプを抜く ダンプをCloud Storageにuploadする Cloud Storage からbigqueryにインポートする クエリ投げる という流れになる。この記事では深く言及しないが、Google Compute Platformのコンソールでプロジェクトの作成やら課金の登録やらが済んでいて、作業を行うマシンにはコマンドラインツールがインストール済みであるとする。 コマ
中東行ってきた | Ore no homepage
10月頃にヨルダン、イスラエル、パレスチナに行ってきた。フォトギャラリー。物々しいと言われている地域だが個人的にイスラム文化圏は結構好きで、しばしばそのような地域に行っている。もちろんガザや現在のシリアなどガチで危険な場所には行かないが。 現地人と昨今の情勢の話もしたんだが「イスラム国(Islamic state)」と言うとちょっと嫌な顔をされる「あいつらはイスラムじゃないから！」って。「ダー」だか「ダイシュ」だかって表現してたかな？忘れた。でもまあ「イスラムは人を傷つけない平穏なものなんだ」とかいいつつ「いろいろ教えてあげたから金くれ」とか言うんだけどね。払わないけど。それとこれとは別ってことだな。 ヨルダン、イスラエル、パレスチナに行ってきた ここ2年だと、クロアチア、ボスニア、ウズベキスタンと行ったんだが、同世代や少し上の世代の方に会うことが多く、バックパッカーの高齢化が進んでいるの
昨日、会社辞めた | Ore no homepage
正確には昨日が最終出社日で2014/10/31が退職日になる。これから一ヶ月有給消化。在籍してたのは3年半くらいか。楽しかったよ。 選別もろた。花束、色紙、自社サービスのグッズ、酒のとっくりとおちょこ、お菓子、アンチェインのフィギュア、ワイン…とまあ大量にいろいろいただきました。帰り道、道行く人の「どこに買い物行ってきたんだこのおっさんは」みたいな視線がおもしろかったw おわり 以下、追記 ちょうど辞めたばかりで思うところがあるので、もう少し書く。このへんのはてぶ記事↓について、ね。 http://b.hatena.ne.jp/entry/www.mynewsjapan.com/reports/2081 http://b.hatena.ne.jp/entry/www.nikkei.com/article/DGXMZO77749270Q4A930C1000000/ これらの記事の登場人物が誰
MySQLのクエリ集計手法いろいろ | Ore no homepage
Webサービスを開発/運用してるモンとしては、いろんなWebサービスを触ってみなきゃアカンってことで、アメリカの若モンに大人気ってふれこみのsnapchatに登録してみた。これでリア充の仲間入りやと思ったが、snapchat友達が同僚二人しかいないうえに、利用シーンがあまり思い浮かばないww オジサン困っちゃいました。画像とか送信できるんだけど、数秒で消えるの。むしろそこがウリっていうね。どうやって遊ぼうか…。 2月はブログ書かなかったなーと思ったのでMySQL小ネタ。世間的にも自分的にも真新しくもなんともないTipsです。 innotopで集計 実は以前、Qiitaに書いたので↓をば。。。 http://qiita.com/la_luna_azul/items/505ca441b8c8e6a87aaa 流れるクエリ、ロックの状況、トランザクション(show engine innodb s
監視システムをSensuに刷新した | Ore no homepage
データベースが落ち着いているので、その間に別のことに着手。 チームの監視システムがmonっつー超レガシーシステム。知っている人もいるかもしれないが、monはperl製のシンプルな監視システム。古くからあるものなんだけど「mon perl」で検索すると「もしかして: man perl」とgoogle様にも何だっけソレ？と言われてしまうかわいそうな奴(「mon monitoring tool」だとちゃんと出てくる)。なのでまあこの際だから俺が葬り去ってやる。導入したSensuのバージョンは0.12.6。GW前くらいから運用しているが今んとこ問題ない。まだ運用期間短いね。 割と長文になっちまったので、目次をば。 0. sensu概要 1. なぜsensu？ 2. インストール 3. コンフィグの配置 4. プラグインについて 5. API 6. デバッグ 7. 今後の展望 0. sensu概要
Python実行環境の入っているDockerイメージを作る | Ore no homepage
身近で独立する人が多くて若干影響を受けてる。俺の場合は社長になるとかそういうのガラじゃないんで、フリーランスとかやってみようかなーって気分になっている(これも社長みたいなモンかあ〜？w)。ほぼ興味のみの動機。でもまあ刹那的なのはアレなので、まずは情報集めとかをしよう…。調べた挙げ句「やっぱ(今の)会社は辞めへんで〜！」ってなるかもしれないけど、リサーチはしとく。それと、独立とかそういうのとは関係無しに、今まで得られた信頼とかポジションとか、プラスの面もマイナスの面も含めて全部リセットしてイチから始めたいと思う時がある。ウマく説明できないけど。 でだ、今日はかねてから興味のあったDockerをちょっと実験したのでそのメモを書く。まだ触り始めたばかりで理解が怪しい…。今回は、Pythonの実行環境が入っているDockerイメージを作って、それが起動できることをゴールにした。このイメージがあれば
開発支援系のサービスが充実しすぎて転職か廃業を考えた | Ore no homepage
なんて表現したらいいかわかんなくて、開発支援系サービスって謎表現したけど…。なんつーか、開発支援向けのサービス？クラウドってやつ？ってかいわゆる外部がやってくれる系のサービス(モニタリング/ホスティング/etc)が充実してますよね。んで、一介のWebエンジニアのおれがこの先生きのこるにはどうするかを真剣に考えていたところだった。きのこ。何割かはネタ。 思いついたものを挙げてみる。AWSやGitHubは割愛。言うまでもねーだろ…。 New Relic http://newrelic.com/ 有名なNew Relic。これも説明するまでもないかな。今のチームでコレのお金払う版を使ってるんだけど、「外部APIとの通信個所とDBとの通信個所が遅いように思えるので調査しますわ」→「それNew Relicで見れるよ」とか「各テーブルへのアクセス頻度集計しますわ」→「それNew Relicで見れるよ」
MySQL 今更ながらonline-schema-changeについて | Ore no homepage
そういえば先日はハロウィンだったね。んで、今日スタバに行ってみたら早くもクリスマス仕様。残念ながら年末の予定は無え。 そんなこんなでオンラインスキーマチェンジを本番のオペレーションで使い始めたのでそのメモ。 0. online-schema-change オンラインスキーマチェンジは、percona社が出しているpercona-toolkitに梱包されている。その他有用なツールも入っているのでお世話になっている人も多いだろう。で、オンラインスキーマチェンジはその名のとおり、スキーマの変更、alter文をブロックなしで実行してくれるという代物。 私事なんだけど、今までは「ちょっと更新をブロックしちゃうけどアクセスの少ない時間帯にオンラインでalterを流す」みたいな運用をしてた。実行内容にもよるけどalter tableは意外と早いので、「更新をブロックされる時間がSLA的に許可できるならO
Riak 04 クラスタへのアクセスと一貫性レベル | Ore no homepage
あ、どうも。ストレスが溜まって癒しを欲する今日この頃。ところでおれのPC、「いやし」を変換すると「嫌死」になるんだけど…。 3台構成のRiakクラスタを組んで一貫性レベルに応じた可用性の実験したという記事。一貫性レベル(Consistency level)についてなんだけど、Riakに限らずMongoDB(笑)やCassandra(墓)などの分散DBは同様の概念をもっている。これについてはある程度は馴染んでいるハズなんだけど、Riakは読み込みについてだけでもr(Read Quorum)に加えて、pr(Primary Read Quorum)など、ちょっと見慣れない(おれの知らない)パラメータがある。書き込みについてはw(write quorum), dw(durable write quorum), pw(primary write)と、実に3つのパラメータを使って一貫性を調整するようだ
Mac OSX+iterm2+tmux+zsh | Ore no homepage
2〜3年くらい前にMacを手に入れてからMac OSX+iterm2+tmux+zshで作業してます。ちょっと前は会社ではwindowsにVirtualBox入れてその中でubuntuゲスト作って、ubuntu+tmux+zshで作業してた時期もあったのですが、(なぜかおれの環境だと)たまにvirtualboxがおかしくなったりゲストOSだと動きがもっさりするので、今はこの環境にしてます。んで、ちょっと前に自分のドットファイルを整理したのでそのまとめとしてインストール手順などについて記します。 インストール手順は・・・といきたいところですが、このページを見にきてくれた方にtmuxやらzshの良さを宣伝したいので、まずは便利だと思うオペレーションを紹介します(「2. 環境構築」にインストール手順を記します)。ペイン分割とかウィンドウ分割は他の端末ツールでもできる、ってか今どきあたりまえの機能
MySQL バイナリログを使ったデータリカバリ | Ore no homepage
目黒川の桜きれいですね〜(*^^*)…なーんてガラじゃないことを言いたくなるくらい良い咲きっぷりでしたよ、エエ。で、来週末、花見に行くんだけど、まだ散らないでほしいっすねー。 えーっと、久しぶりにMySQLの記事。binlogを使ったリストア手法について。ネットを漁るとMySQLの運用に関する記事は多くヒットするんだけど、障害からのデータリカバリ、特にロールフォワードを扱った記事が思ったより多くない。おれは運が良いのか悪いのかMySQLのデータリカバリをしなければならないような局面に何度か直面しているので、手順について書いてみようかな、と。ここではMySQL〜5.5を対象にしている。直近での最新のメジャーバージョンはMySQL5.6なんだけど、おれはまだ5.6について大して知らない。5.6ならもっとイケてるやりかたがあるかもしれない。あったらいいな。 0. 環境 次のような環境を前提として
収集したデータをtornadoでWebSocket配信する | Ore no homepage
ヘロー。最近は事務職が板についてきました。個人的に気が進まない作業があるときの方がコーディングや検証に力が入るのはなんでだろう。学校のテスト前に部屋の掃除が捗る的な心理状態なのかな。 えーと、オーダーメイドでモニタリングツールを作ることがたまにあって、そのツールをWebSocket対応したのでそのときのメモとサンプルコードについて。 0. こんなの 作ったのはUI的にはこんなやつです。CassandraのPendingTaskの値をリアルタイムで表示する感じ。数値が一定以上いくと色を変える、みたいな。前はグラフ化したりしてたんだけど、今回の要件においては数値の方がわかりやすかったのでこうしてある。 1. 当初の実装 次の図のような感じで値を収集/描画していた。Ajaxで逐次問い合わせを行い、リクエストを受け付けたサーバ(Server)が後段にあるデータ収集対象ノード(node)のデータをか
JolokiaでMBeanにアクセスする | Ore no homepage
ちょっとJVMってかMBeanの情報をぶっこぬくツールを作る必要があって、最初jythonで作ったんだけどjythonにはいろいろ失望した。で、同僚にJolokiaってのがあると教えてもらったのですが、これがなかなかイケてる。Jolokiaというのは、簡単に言うと、MBeanにHTTP経由でアクセスできるようにjmxの口を空けてくれるJavaのエージェント。こいつをJavaプログラムやJavaなミドルウェアに仕込んでやるだけでHTTPの口が空いて、そこ経由でいろいろできる。レスポンスはJSONで帰ってくる。 Cassandraの記事はまた次回ｗｗｗ まぁ、今回もJolokiaに手を出したのもCassandra起因なんだけどね。Cassandraはレイテンシやリード/ライト数がMBeanに格納されてて、そいつを抜いてグラフ描画させたいなぁ、と。Cassandraのマネジメントツールとしては、
Cassandraメモその1(インストール、データモデル、データ操作について) | Ore no homepage
9月半ばくらいから仕事でCassandraに触れている。現場でCassandraの機嫌を取ったり、同僚とオライリー本を輪読したり、手元でいじったりしているうちにCassandraをある程度習得することができた(つもり)。なのでメモを残しておく。今日は第一弾としてCassandraの特徴、インストール、データモデル、データ操作についてまとめる。なお、ここで言及しているCassandraのバージョンは1.1.5。 (1) Cassandraの特徴 まずは特徴を列挙する。 列指向分散DB 4次元または5次元の構造 キースペース、カラムファミリ、ロウ、(スーパーカラム)、カラムの順に入れ子構造となる。 カラムは値とタイムスタンプをもつ。タイムスタンプはカラム挿入時に自動で付与される。 カラムは挿入時にTTLを設定することにより時限削除可能。 データ操作は挿入、削除、参照のみ。 データの更新は挿入に
MySQL DBマスタのDC間移設 | Ore no homepage
システムをデータセンターAからデータセンターBに論理移設を行うときのメモ。 肝になるのはDB、特にマスタDBだと思うので、主題の通りおもにDBマスタの切り替えに焦点を当てて手順を書く。 移設先であるデータセンターBではサーバ構築やアプリケーション/コンフィグのデプロイは完了していて、新マスタおよび全スレーブは現マスタにレプリを張っている状態からスタートする。新マスタにはバイナリログ出力など、DBマスタとして振る舞うための設定が入っているものとする。 手順の要約 現DBマスタへの更新クエリをすべてブロックする 全てのスレーブと新マスタでshow slave statusしてログとポジションが一致していることを確認する 新マスタと全てのスレーブでstop slaveする 新マスタと全てのスレーブでreset slaveする 新マスタでreset masterする 全てのスレーブでchange
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
