scale out の技術 (in UNIX magazine, April 2009)
scale outの技術 首藤 一幸 Last-updated: January 5, 2010 注: このページの文章は以下の記事の元原稿です。 首藤一幸, "スケールアウトの技術", クラウドの技術, pp.88-101, (株)アスキー・メディアワークス, ISBN978-4-04-868064-6, 2009年 11月 6日 アスキー・メディアワークス社の 書籍紹介ページ Amazon.co.jp の ページ 首藤一幸, "スケールアウトの技術", UNIX magazine 2009年 4月号, pp.78-91, (株)アスキー・メディアワークス, 2009年 3月 18日 データベースに求められる性能を試算したところ、 十台、百台…数万台のサーバが必要になった。 クラウドを構築する側はこういう問題に直面し、解決しようとしてきた。 台数に比例した性能を引き出すこと、つまりsca
Kazuho@Cybozu Labs: crontab を使って効率的にサービス監視する方法
監視とは継続的なテストである、という話 (もしくは cronlog とテストスクリプトを組み合わせた監視手法について)に続きます 今日ようやく、積ん読状態だった「Software Design 2010年1月号」を手に取ったのですが、特集が「今日から使えるスクリプト満載！ [プロ直伝]お手軽サーバ監視術」。興味深く拝読したのですが、もっと楽ができるのにと思うところも。ちょうど、昨年末に運用しているサービス「パストラック」のサーバを移転し、crontab と perl で書かれたスクリプト群を使った監視環境を構築したところなので、そこで使っているスクリプト cronlog を紹介したいと思います。 特集の前書きにも書かれていることですが、サーバやネットワーク機器が多数ある環境なら、Nagios を始めとする、専ら監視のために作られたソフトウェアを使って、監視システムを構築すべきです。逆に小規
【特集】マイクロソフトSFU vs Cygwin - Windows上のUNIX互換環境を徹底比較 (7) SFUの使い方(2) | エンタープライズ | マイコミジャーナル
SFUには、サーバとしての機能も用意されている。本項では、リモートホストにUNIXシェルの機能を提供するtelnetとSSH、UNIXホストとのファイル共有を実現するNFSサーバの設定方法について説明する。なお、Administratorまたは管理者権限を持つユーザによる作業を想定しているので、適切なユーザとしてログオンしているかどうか事前に確認しておこう。 Telnetサーバ Windows XP Professionalには標準でtelnetサーバ(telnetd)が収録されているものの、利用できるのはWindows標準のシェル(cmd.exe)によるCUI環境だ。コントロールパネルの「サービスマネージャ」からサービスを開始/停止できるという扱いやすさはあるが、高機能なUNIXのリモートシェル環境と比べると見劣りしてしまう。 一方のSFUには、rshdやrlogindといったリモートシ
3日でニコ動を作ったネ申「戀塚氏」に取材してみた (1/5)
ドワンゴといえば、ケータイ電話向けの着信メロディー「いろメロミックス」や動画共有サービス「ニコニコ動画」といったサービスを生み出してきた企業だ。 この10月、そのドワンゴを題材にした新書「ニコニコ動画が未来を作るドワンゴ物語」が弊社から発売された（関連記事、Amazon.co.jpで見る）。フリージャーナリストの佐々木俊尚氏が延べ30人を取材し、ドワンゴの全貌を明かしたものだ。この中でもキーマンの1人として登場するのが戀塚昭彦（こいづかあきひこ）氏。 戀塚氏は「ニコ動を3日で作ったプログラマー」としてネットで知られており、現在もニコニコ関連の開発に携わっている。90年代にはゲームクリエイター集団「Bio_100%」のメンバーとして活躍。2001年に起きた「2ch閉鎖騒動」では、過負荷対策を行なって閉鎖を食い止めたUNIX板住民のひとりでもあった。 そんな戀塚氏はどういった経緯でドワンゴに入
ソースから自前ビルドしたソフトウエアの効率的な管理方法 - （ひ）メモ
ぼくは長年こういう方法で管理してますよ、というお話です。Linuxです。 ディレクトリレイアウト概観 たとえば、asoとbmdという名前のソフトウエアをインストールしている状態はこんな感じ: /usr/local/ ┬ app/ ┬ aso → aso-1.3 │ ├ aso-1.2/ ┬ bin/ ┬ armored │ │ │ └ scrum │ │ ├ sbin/ ─ syd │ │ └ share/ ─ man/ │ ├ aso-1.3/ ┬ bin/ ┬ armored │ │ │ └ scrum │ │ ├ sbin/ ─ syd │ │ └ share/ ─ man/ │ ├ bmd → bmd-2.0 │ └ bmd-2.0/ ┬ bin/ ─ tri │ ├ include/ ─ angle.h │ └ lib/libsnk.so.2.0.0 ├ bin/ ┬ armor
livedoor Techブログ : フリーソフトと貢献について - Zither -
みなさん、はじめまして。 ネットワーク事業部 事業企画の嶋倉です。 今回は僕にとってのフリーソフトとその貢献について書いてみました。 初めの一歩 初めて自分のパソコン（計算機）を手に入れたのは、もう随分と前の話です。上野のヨドバシカメラで確か30万ぐらい出したような記憶があります。東芝のノートブックでしたが中にはMS-DOSが入っていました。 当時の世の中はまだPC98が主流で、典型的なDOSVのダイナブックは動かせるソフトが少なく、歯がゆい思いをしたものです。そもそも何で自分のパソコンを手に入れたかなんですが、当時勤めていた会社ではヒューレット･パッカード（以下HP）のワークステーション（以下WS）にてCADを使うことがありました。 ところが小さな会社でしたので、一台しかないこの超高価なWSを使う順番はなかなか回って来ません。しかもそれを管理していた先輩は無知な上にCAD以外の使い方をす
gccを用いたCの共有ライブラリの作り方 - シリコンの谷のゾンビ
ゆとりなもので，ついこないだまで動的リンクと静的リンクの違いがわかっていなかった．動的リンクというのが理解できた頃，そっかユーティリティライブラリは自分で共有ライブラリ作ってしまえばいいんだ，というごく当たり前のことが理解できた． UNIXをさわりはじめていた初期の頃，mecab.soのシンボリックが〜〜という用なハマりがあったのだけれど，あれは要するに実行時に共有ファイルへのパスを指定してあげればよかっただけのこと． わかると当たり前だけれど，わからないと「何がわからないのかわからない」状態に落ち込むなぁ，と改めて思いました． （幸いなことに，僕の周りには「ゆとり乙ｗｗ」と指導してくれる方々がいるので認識できるようになるのですが，少なくとも大学（院）時代はそうでなかったわけで，ゆとりスパイラルの恐ろしさを体感した気がしています．） というわけで自分用共有ライブラリの作り方をきちんと理解で
Route 477(2009-11-10)
■ [ruby] 大規模Railsサイトのための新しいHTTPサーバ、Unicorn githubの中の人が、ブログで「Unicorn使い始めて一ヶ月くらい経つけどいい感じだよ」と書いています。 適当に要点だけ拾ってみました。 Unicornって何よ？ UnicornはRubyのためのHTTPサーバ。MongrelやThinのようなものだけど、全く違う設計と思想を持っている ありがちな構成 [mongrel] [mongrel] .. [nginx] -> [haproxy] -> [mongrel] [mongrel] .. [mongrel] [mongrel] .. 問題点: あるactionの処理に60秒以上かかったとき、Mongrelが当該スレッドをkillしようとして固まることがある メモリが一定量を超えたときMongrelを再起動するのが遅い。 デプロイ時に9個のmongre
galluのブックマーク / 2007年11月22日 - はてなブックマーク
Bisonが言語を解析するためには、その言語が 文脈自由文法（context-free grammar）で記述されている必要があります。 すなわち、1個以上の文法グループ（syntactic groupings）を定め、 その文法グループを部品から組み立てる規則を与える必要があります。 たとえば、C言語では、ある種のグループは「式」と呼ばれます。 式を作る規則の1つは、 「1つの式とは、別の式にマイナス記号を付けたものでもよい」かもしれません。 別の規則は、「1つの式とは、整数でもよい」かもしれません。 ここから解るように、規則はしばしば再帰的になりますが、 再帰を始めるための少なくとも1個の規則が必要です。 このような規則を人間が読めるように表現する、もっとも一般的な形式的な方法は、 バッカス-ナウア記法（Backus-Naur form）略して"BNF"です。 これは、Algol 60
MRTGログ消失対策メモ | riXの日記 | スラド
ログ消失してしまう場合の原因調査範囲：cron設定周りを確認 確認環境OS：CentOS4.5 【MRTGインストール時に作成されるcron設定】 # /etc/cron.d/mrtg */5 * * * * root /usr/bin/mrtg /etc/mrtg/mrtg.cfg --lock-file /var/lock /mrtg/mrtg_l --confcache-file /var/lib/mrtg/mrtg.ok たとえば、/etc/crontabに以下のような設定が存在するとき。。 # /etc/crontab */5 * * * * root /usr/bin/mrtg /etc/mrtg/mrtg.cfg mrtg専用のcron設定と、crontab等に設定したmrtgの設定がかち合ったとき データがクラッシュしてしまい、ログが消失してしまうらしい。 解決策としては、
25+ Useful Linux and Unix Cheat sheets @ Techie Blogger
RT @techieblogger Beencounter - Track which sites your visitors visit http://bit.ly/CSdSp 1 day ago Faster programming gives you more time for small business website design and other projects. This is my first post on Cheat sheets. Actually Cheat sheet is a concise set of notes used for quick reference. Cheat sheets will contain most of the shortcuts needed to program faster. And it is meant for n
UNIX系OSのサーバに対するイタズラ集 - yuyarinの日記
随時追加 ターミナルを立ち上げたまま席を離れるとマシンにイタズラされることがよくある．とはいえシャレにならないイタズラはしても笑えないので，基本的には教育的に効果があって被害の出ないものしか実際にはしない． じゃあ，たとえ root じゃなくてもどこまでえげつないことができるのか*1，今回はちょっと考えてみたユーザ権限でできる酷いイタズラを紹介する．対象はリモートログインする UNIX 系 OS を利用しているサーバ，主に Ubuntu である． ls が sl 方法 alias ls=sl sl を期待したという意見が多かったので掲載．掲載しなかったのは sl がインストールされていない環境が多く，インストールには root 権限が必要になるから．後述のバイナリを持ち込んでパスを通す方法を使えばできないことはないかも． エディターが全部 ed 方法 alias nano=ed alias
時代はGNU screenからtmuxへ - このブログはURLが変更になりました
GNU screenはもう古いので皆さんtmuxへ移行しましょう、という話。Gentooならemerge tmux。 スクリーンショット 手元のtmuxを撮ってみた。縦分割モード。ウィンドウマネージャはawesome。左のircクライアントはweechat。 本家にもいくつかスクリーンショットがある。 tmuxへ移行する理由（メリット） 標準設定のままでもそれなりに使えるステータスバー 各ショートカットがコマンドベース（コマンドで操作ができる） 標準で縦分割機能搭載 GNU screenがたまに固まる問題（が発生するのは私だけ？）が発生しないかも ビュー専用のスクロールモード 柔軟なペイン制御 コピー＆ペースト用のバッファを複数保持できる terminfo的にscreen互換 メモリ消費量が少ない(GNU screenの約1/5) 一部機能でマウスが使用できる(mode-mouse, mo
bash ディレクトリの最後の/を取るには | kemokemoの日記 | スラド
良くshスクリプトでディレクトリが与えられたときの最後のスラッシュを取りたいことがあります。 つまり /foo/bar/ -> /foo/bar ということ。 これで度々悩んでいたのですがようやく取り方を発見 dir="/foo/bar/" dir1=${dir%/} #dir1に/foo/barが格納される。 dirが/foo/barのときは何も行われないのでOK この手の記法使ったことがないから気づきませんでした… UNIXは10年以上使っても毎日が発見の連続です。
Unix でテンポラリファイルを確実に消す方法
Landscape トップページ | < 前の日 2004-12-06 2004-12-07 次の日 2004-12-08 > Landscape - エンジニアのメモ 2004-12-07 Unix でテンポラリファイルを確実に消す方法 当サイト内を Google 検索できます * Unix でテンポラリファイルを確実に消す方法この記事の直リンクURL: Permlink | この記事が属するカテゴリ: [unix] 知らなかった。定番なのか。 [PHP-users 23600] Re: バージョンアップ後にunlinkでエラー http://ns1.php.gr.jp/pipermail/php-users/2004-November/02412 ... UNIX 系の OS では一時的に作成したテンポラリファイルを確実に 消す方法としては open 直後に unlink して、そのま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「fish」(Friendly Interactive SHell)を使ってみる - レオメモ - s21g
IBM Developer
はてなブログ | 無料ブログを作成しよう
【】日本のネット史編さん、CCライセンスで公開――のはずが…… 
Amazon.co.jp: UNIXという考え方―その設計思想と哲学
