kimutanskのブックマーク - はてなブックマーク

Ansibleを使い出す前に押さえておきたかったディレクトリ構成のベストプラクティス - 双六工場日誌
Ansibleのディレクトリ構成を決める際、プロダクション環境、ステージング環境、開発環境といった環境ごとに異なる設定を変更する方法でしっくり来るものを思いつかず、どうしたものかと悩んでいたのですが、今日見つけたブログ記事でそれもスッキリ解消したのでメモっておきます。結論まず結論を。プロダクション環境、ステージング環境、開発環境といった環境ごとに異なる設定する場合は、以下のように対応するのが良さそうです。ディレクトリ構成は、公式ドキュメントに従う。 Best Practices — Ansible Documentation プロダクション、ステージング、開発など、ステージごとの変数切替は以下のブログを参考に、"group_vars"を利用して行う。インベントリファイルの中に、"[production:children]"のようなグループすべてが属するグループを作ってしまい、そのグ
kimutansk 2015/01/06
インベントリファイル、複数のグループをまとめて記述することができましたか。なるほど。

Ansible

インフラ
リンク
Hadoop Conference Japan 2014 参加メモ（個別セッション①） #hcj2014 - 双六工場日誌
Hadoop Conference Japan 2014 参加メモ（キーノート） #hcj2014 の続きです。続いて、個別セッションの前半。先は長い。。。個別セッション BigQuery and the world after MapReduce Speaker: 佐藤一憲（Google） GCPサポート GCP solutions design Docker/GCP meet up Google I/O で、GoogleはMapReduceを使っていないという話があった We use Dremel ≒ Google BigQuery(MPP) 68B records in ~20 secs 120億行フルスキャンで10秒ぐらいコスト Storage 0.026/GB per manth Query: $5/TB Column Oriented Storage HDFSの元となっ
kimutansk 2014/07/10
「Small JOIN: Broadcast JOIN」「Big JOIN: JOIN EACH, GROUP EACH -> Shuffle」と。あとはトランザクションはサポートしない、という割り切りもわかりやすいです

bigquery

gcp
リンク
bashのプロセス置換機能を活用して、シェル作業やスクリプト書きを効率化する - 双六工場日誌
@hirose31 さんが「シェルスクリプトでハマった件→【募】ステキな回避方法」でお題を出されていて、それに回答してみました。その内容はリンク先を見てもらうとして、回答の中で使ったbashのプロセス置換について書かれた記事をあまり見ないので、回答で使ったプロセス置換のことをエントリにしてみたいと思います。最初に注意点ですが、プロセス置換の機能は、bashやzsh*1の機能でPOSIX互換の機能ではありません。そのため、使用時には、対応していないシェルでは使えませんし、bashで使う場合も /bin/sh ではなく /bin/bash を明示的に指定する必要があります。たとえば、プロセス置換を使ったスクリプト「script.sh」に対して"$ bash script.sh" というコマンドは成功しますが、"$ sh script.sh" というコマンドは失敗します。この辺りの違いは「/
kimutansk 2013/08/17
プロセス置換を行うことで一時ファイル作らずにこうスマートに行くわけですか。なるほど。

Linux

bash

process
リンク
1