Docker と SO_REUSEPORT を組み合わせてみる。おそらくその1 - blog.nomadscafe.jp
SO_REUSEPORTはLinux Kernel 3.9からサポートされている機能で、複数のプロセス/Listenerから同じTCPポートをbind可能にして、Kernelが それぞれのプロセスに接続を分散してくれるという機能です。preforkなサーバはlistenしてからworkerをforkし、それぞれでacceptを行うという手順を踏みますが、SO_REUSEPORTを使えばその手順を踏まなくても複数プロセスから同じポートをListenして処理の並列性をあげたり、hot-depolyが実現できます。 Docker のHost networking機能とSO_REUSEPORTを使って、複数のコンテナから同じポートをbindできれば、コンテナのhot-deployができるんじゃないかと思ったので、試してみました。 SO_REUSEPORTについては以下のblogが参考になります。
Deprecated Linux networking commands and their replacements
In my article detailing the command line utilities available for configuring and troubleshooting network properties on Windows and Linux, I mentioned some Linux tools that, while still included and functional in many Linux distributions, are actually considered deprecated and therefore should be phased out in favor of more modern replacements. Specifically, the deprecated Linux networking commands
オペレーティングシステムのメモリ管理に関する演習
goto home page. 授業終了時はアンケート へ回答をお願いします. ここ数週間の授業内容の理解を深める(実感する)のが主な目的です. それが必要と思う人は前から順にやって行ってください. どれも簡単そうで仕方ないという人はいきなり 演習4と, その応用問題(だけ)をやっても良いです. はじめに オペレーティングシステムが提供している「仮想記憶」と呼ばれる メモリ管理方式について, 概念だけでなく実感として理解するために, 以下の簡単な演習を行う. 理解してほしい概念は以下のとおり. プログラムがOSに割り当ててもらうことができるメモリ(正確には, 「仮想メモリ」)の量は, 物理的に搭載しているメモリとは関係なく決まる. プログラムがOSに割り当ててもらっているメモリはページと呼ばれる 単位(通常4KB程度の連続したアドレスの集合)ごとに管理され, ある時点での一ページの状態は以
Modern Syntax
これ見たら「なんでいままでこういうのなかったんだろう」と思いました。 作ったのはサンフランシスコのインタラクティブ・テクノロジー企業Augmental社で、ボクシングのマウスピースみたいな形状で口の中に入れるのですが、舌が当たる部分にセンサーが付いていてそれを使ってマウスカーソルを操作することができます。なのでMousepadではなく「MouthPad^」という名前になっております。 怪我や病気で手足が不自由になった人々がコンピュータを操作する時って、これまでは視線を使ったりしていましたけど、これだともっと正確で直感的ですよね。 Bluetoothを使っているのでPCやMacといったコンピューターやスマートフォン、タブレットでも使えるというのが素敵です。 舌は左クリックやクリック＆ドラッグに使われ、口をすぼめるジェスチャーで右クリックを実現しているそうです。 まだ開発中のようで値段等は掲載
シェルスクリプトでパイプを使った時の戻り値のとり方 - 256bitの殺人メニュー
はい、おつカレー様です。 bashを使ったシェルスクリプトでパイプを使っても戻り値をちゃんと取りたいときの話です。 シェルスクリプトの戻り値 シェルスクリプトでの戻り値取るときに $? を使うことがあると思います。 $ ls / # こっちは正常 $ echo $? 0 $ ls /notfounddir # こっちはエラー $ echo $? 1コマンドのログを取りたいなと思ってteeとかつなげちゃうとteeの戻り値になっちゃって取れないですよね。 $ ls /notfounddir | tee test ls: /notfounddir: No such file or directory $ echo $? 0 # <-アレ？ ${PIPESTATUS[@]} こういう場合は、${PIPESTATUS[@]}を使うことで取ることができます。 $ ls / | tee test.log
ulimitが効かない不安を無くす設定 | 外道父の匠
limits.conf に書いても ulimit に効いていない、というのはよくある話です。 ulimit が少なくて困ったことはあっても、多くし過ぎて困ったことはほとんどないでしょうから、ドーンと全条件下でulimit設定を効かせる方法を紹介します。 ulimitが効かない問題 だいたいこんな内容だと思います。 SSHログインだと効かない su すると効かない OS起動時に自動起動したデーモンに効かない 普通はデーモンに効けばよいので、本当に困ったら起動スクリプトに直接書いたりしますが、方法としてはイマイチなのでちょっと工夫をします。 その前に・・・ PAMについて PAMというユーザー認証システムについてはググっていただくとして、よく出てくる /etc/security/limits.conf という設定ファイルは、PAMを通る条件下でしか有効になりません。 ではPAMを通るとはどうい
インフラエンジニアがSegmentation fault をなんとか治してみる - メモとかそんな感じなやつ
普段Webサーバを運用していて、めんどくさいトラブルのひとつに「Segmentation fault」があります。 あれー？なんか500エラーがでるなーなんて思ってログを見るとSegmentation faultになってるときは死にたくなります。 そもそもSegmentation faultはメモリ上にあるデータに対して不正が行われたときに起こるもので、 インフラエンジニアにとってはなかなか手がだせないところでもあります。 それでもなんとかして治さないといけないわけなので せめてどのプログラムが悪さしてるかどうかぐらいは調べ上げてみます。 apacheでのログ apache + mod_perl での環境です。 こんな感じでエラーがでます。 #tail error_log [notice] child pid 26028 exit signal Segmentation fault (11
Linuxのスワップ処理を最適化するためのヒント
スワップはどれくらいにすべきか Linuxシステムはスワップ空間がなくても動作し、十分なメモリがあれば問題は起こらない。しかし、物理メモリを使い果たしてしまうと何もできなくなってクラッシュしてしまう。よって、スワップ空間は用意しておくことが望ましい。なんといっても、ディスク領域はメモリよりも安価だ。 ここで問題になるのが、そのサイズである。以前のUNIX系OS（Sun OSやUltrix）では、物理メモリの2～3倍のスワップ領域が必要だった。最近実装されたもの（Linuxなど）ではそこまでスワップを必要としないが、それくらいのサイズに設定することは可能だ。だいたいの目安は次のようになる。 一般的なデスクトップマシンの場合はシステムメモリの2倍に当たるスワップ領域を確保する。これで多数のアプリケーションを実行しても（その多くはアイドル状態にあって容易にスワップ処理が行えるので）アクティブなア
原因調査用Linuxコマンド | 外道父の匠
サーバの動作に異常が発生した際に原因を探るためのLinuxコマンドで、自分用のメモです。 全てmanとかググったら出てくるので説明は適当です。思いついたら後で追記していくかもです。 対象はDebian Squeezeになります。 全てパッケージインストールできるもので、パッケージ名は [in packagename] としてあります。 各所よりコメントありがとうございます。 良さ気なコマンドは追記していきます。 ＜追加したコマンド＞ * telnet (+コメント wget, netcat) * arp (+コメント arpwatch) * pstree * fdisk コメントに gdisk * host, dig * watch * reboot
Linux のメモリー管理(メモリ―が足りない？,メモリーリークの検出-防止)(Kodama's tips page)
サ−バ等に使っているPC のメモリが十分かどうか気になる事は多いと思う. 調べ出すと フリーメモリーの不足や SWAP にメモリーがはみだしている様子など 心配な事がいろいろでて来る. PC の動作が遅くなる原因は様々な要因が絡み合っているので, 表面に現れた症状だけでは効果的な対策が分からない事もある. 以下では, メモリ−関連にしぼって解説する. メモリの状況を調べる メモリ−は十分なはずなのに 余裕が無い？ どのプロセスがメモリを消費しているのか？ メモリーのリークを検出する方法？ 防止する方法？ メモリ−は十分なはずなのに SWAP を使ってる？ じゃ, 本当のメモリ−不足はどうしたら分かるの？ メモリーと SWAP 領域はどのくらい確保すると良いのか メモリの状況を調べる メモリの利用状況を調べる方法は, free, top, ps, vmstat, /proc/meminfo
橋本商会 » ターミナルで使うtwitterクライアント作った
1年以上前に作ってずっと使ってた奴を、少し直してrubygemにした。 くわしい使い方はhttp://shokai.github.com/twに書いた。 何か要望あればtwitterかgithubのissueかblogのコメントでください。 ※活用方法をTwのレシピに書きました インストール 特別なライブラリは使っていないのでMacならすぐインストールできるはず gem install tw tw --help 機能 すぐ使えるように名前が短い、インストール・セットアップが楽 表示がカラフル 複数のユーザやリストをマージして表示できる DM読み書き public timelineの検索 user stream、filter stream読める。なんかよく切断されるので自動再接続するようにしといた 複数アカウント使える UNIX pipeからもtweetできる 作った経緯 フルスクリーンのタ
「プロのためのLinuxシステム・10年効く技術」を超絶おすすめいたします - さよならインターネット
プロのためのLinuxシステム・10年効く技術 ウェブオペレーションという言葉が一般的になってきた今日、 Linux上で様々なソフトウェアを駆使し、多種多様なウェブサービスが次々と生まれ その産まれた様々なサービスを、陰ながら支えるエンジニアも増えてきました。 ウェブオペレーションエンジニアとか、インフラエンジニアとか サーバエンジニアとか、色々と呼称はあるかとは思いますが 日常的にLinuxを扱う人は、本書籍はマストアイテムです。 「はじめて読む486」、「はじめて読む8086」などを読み どうやってノイマン型コンピュータが動いているのか メモリの仕組みはどうなっているのか、HDDにどうやってデータを 書き込んでいるのか、工学系の知識が足りないながら調べたりもしましたが この書籍があれば、深い知識の森を迷うことなく、整備された美しい一歩の道を、 Linuxの知識へと続く道を歩いていくこと
Linuxデスクトップは本当に死んだのか
何がLinuxデスクトップを殺したかというエントリが話題を呼んでいる。これは元が英文のエントリで、著者はなんとGNOMEやMonoプロジェクトを開始したMiguel de Icaza氏だ。そのような御大が「Linuxデスクトップは死んだ」と題したエントリで、最終的に「OSXを使って満足している」という結論に至っているのだから話題にならないわけはない。「OSXを使って満足している」という部分に数多くのマックユーザーが反応してコメントを寄せているのが趣深い。 果たしてLinuxデスクトップは本当に死んだのだろうか？今日はその点について考察しようと思う。 コンシューマー向けに限った話 コメントを残した多くの人が誤解している点がある。それは、Miguel de Icaza氏の主張が「Linuxデスクトップはコンシューマーへの普及に失敗したのでは」という話だ。Linuxと比べてOSXは大いに成功して
sshの接続確立が遅い場合の対処方法 - yuyarinの日記
140文字で収まらなかったので． ssh でログインはできる（認証は成功している）し操作も普通に行える（RTTが正常な範囲）けど，ログインできるまでに（パスワード認証の場合はユーザ名やパスワードを聞かれるまでに）非常に時間がかかるような場合の原因と対処方法を記しておく．こうした現象は主に何らかの方法に挑戦して失敗・タイムアウトしていることが原因である． クライアントの名前解決が原因 クライアントの名前解決ができなくて時間がかかっている．サーバ側での設定変更が主． ssh サーバの /etc/hosts にクライアントの設定を書く 名前解決ができないので ssh クライアントの直接名前を設定してあげる．個別対応なのであまり良い解決策ではないが，やむを得ない場合はこの方法． 192.168.0.2 ssh-client.example.com 192.168.0.2 がクライアントの IP ア
joinコマンドが便利過ぎて生きるのが辛い - Y's note
Linuxシステムプログラミング 作者: Robert Love,ロバートラブ,千住治郎出版社/メーカー: オライリージャパン発売日: 2008/04/16メディア: 大型本購入: 5人 クリック: 181回この商品を含むブログ (29件) を見る 結合 Unix/Linuxの標準コマンドで2つのファイルの共通keyで連結することができます。共通keyでの結合にはjoinコマンドを利用します。joinによりSQLのinner joinに近いことがコマンドだけで出来てしまいます。今までテキスト処理をコマンドで行う事が少なかったのでjoinの活用方法を知りませんでしたが、今回調べた内容を記録します。似たコマンドとしてpasteというものもあり、こちらは同じ行数の内容を単純に結合します。そちらについても簡単に紹介します。 join join前にsort joinコマンドを利用する場合は2つのファ
Slackware Linuxを使うべき10の理由
Jack Wallen （Special to TechRepublic） 翻訳校正： 村上雅章 野崎裕子 2011-07-01 08:00 Slackwareは管理が容易ではなく、使い勝手にも難があるという理由で多くのLinuxユーザーから敬遠されている。しかしこのディストリビューションは、そういった難点を補って余りある利点を持っているのだ。 SlackwareというLinuxディストリビューションがある。ひょっとしたら、あなたも使ったことがあるかもしれない。あるいは、使用を検討したことがあるかもしれないし、難しそうだという理由で敬遠しているかもしれない。Slackwareは最もパワフルなディストリビューションの1つと言えるだろう。とは言うものの、そのパワフルさには代償が伴っている。他の多くのディストリビューションほどユーザーフレンドリーではないのである。実際のところ、Slackware
何がLinuxデスクトップを殺したか（What Killed the Linux Desktop 日本語訳）
以下の文章は、Miguel de Icaza による What Killed the Linux Desktop の日本語訳を著者の許諾を得て公開するものである。 本文については、八木の野郎さん、Shiro Kawai さん、猪股健太郎さんに誤訳の訂正をいただきました。ありがとうございます。 これは実話である。 うちの Linux マシンの /home ディレクトリがあるハードディスクがおかしいので、それを新しいのに換えなければならなかった。このマシンは机の下にあるので、ケーブルを全部抜き、マシンを外に出し、ハードドライブを交換してまたプラグを全部つなぎ直さなければならなかった。 至極ありきたりなことだ。AC 電源をつなぎ、キーボードをつなぎ、マウスをつないだが、スピーカーケーブルを手に取ると、僕はそれをつなぐのはやめた。 なんでオーディオ設定なんかに手間かけなきゃいけないの？ オーディオ
CentOS 6.2 で RPS/RFS を使ってネットワークの割り込み処理を複数コアに分散してみた - blog.nomadscafe.jp
以前(2010年)に「アプリケーションがマルチスレッドでもマルチコアCPUを活かせない件」というエントリにてCPUのコアが増えても割り込み処理が分散されないのでスケールされないと書いたけど、その後Linux KernelにRPS/RFSなる機能が追加され、割り込み処理が分散できるようになり、CentOS 6.2 でも使えるらしいので試してみました。 RPS/RFSについての紹介は VIOPS06で「RPS・RFS等最新Linux Kernel事例」と題してお話してきました http://d.hatena.ne.jp/syuu1228/20110722/1311322653 Linux内核 RPS/RFS功能详细测试分析 http://www.igigo.net/archives/204 が詳しい。2番目のはほぼ読めないけど、性能比較のグラフが分かりやすい。 今回試したサーバは、 OS: C
Stowを利用してソースからビルドしたソフトウェアを効率的に管理する - Glide Note
同じチームの@lamanotramaさんと話していて、 これから一部パッケージはRPMを作らず、@hirose31さんの方式 (ソースから自前ビルドしたソフトウエアの効率的な管理方法 - (ひ)メモ) を採用するとのことで、「なるほど!!」と思いながら上記記事のはてブコメント を眺めてたらStowというものを発見。 早速検証してみた。検証環境はCentOS 6.3です。 Stowの概要 Perlで書かれている ソースからビルドしたソフトウェアを管理するソフト 任意のディレクトリ/usr/local/stowなどにパッケージ一式をインストール インストールしたパッケージから/usr/lib/{bin,lib,share}にリンクを貼って利用。 バージョンの切り替えはリンク張り直しで行う(ファイルの上書きはしない) zsh-4.3.17やzsh-5.0.0などバージョンの切り替えが容易になる(
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linuxで1プロセスが利用しているSWAP量を調べるコマンド - Qiita
