「バックエンドの経験はなかった」Instagram創業者は、どうやってシステムをスケールさせてきたか
昨日のPinterestの記事「Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用」に続いて、やはり写真を中心としたサービスで急成長してきたInstagramのスケーラビリティについて、まとめてみました。 InstagramもPinterestと同様に、基本はAmazonクラウド上でPythonとフレームワークのDjangoを使ったシステムを構築しています。興味深いのは、創業者の二人ともバックエンドの経験がないなかで試行錯誤をしてシステムをスケールさせてきた点です。 Instagramは先月、Facebookに買収されると発表されています。この先、Instagramのシステムはどう変わっていくのでしょうか。 Instagramのシステム構成 約半年前、昨年12月にInstagramのブログに投稿された記事「What Powers In
Instagram のスケール正攻法 -- Kosei Kitahara's Blog
Instagram がどこに買収されたとかは他のニュースサイトにお任せして、Django アプリケーションを正攻法でスケールして "成功" してるのがとても興味深いです。現時点で Instagram Engineering で紹介されていることと TechCrunch にも掲載されたスライドから個人的なメモとしてまとめてみました。 Instagram の哲学は シンプルであること オペレーション負荷を最小化すること すべて装備 とのこと。 Instagram は以下の OSS, サービスで構築されているようです。 >>> OS / ホスティング Ubuntu Linux 11.04 を Amazon EC2 にホスティング。以前のバージョンは高トラフィックになると固まる問題があったようです。運用は 3 人。EC2 にホスティングしている理由は、調査結果によるものではなく、"まだ進化途中だか
しゅとろ〜む、しゅとろ〜む - KaiGaiの俺メモ
昨年、オタワでTim Child氏の発表を聞いて以来、実装できないものかと思って暖めていたアイデアがある。GPUの処理能力を使って、PostgreSQLの検索処理を高速化できないか？というものである。 特に複雑な計算を含むクエリの場合、Index-Scanに落ちないで、全件スキャンが走ることが往々にしてあるが、こういったケースで有効に作用するのではなかろうか？という着想である。 クリスマス休暇の間、割とまとまった開発時間を取る事ができたので、PostgreSQLのFDW(Foreign Data Wrapper)として動作するモジュールを作成してみた。 モジュールの名前は PG-Strom で、ドイツ風に『しゅとろ〜む』と発音する。 これは GPU の処理単位である Streaming Multiprocessor に由来する。 もちろん、現状のFDWのI/F前提なので、更新は不可能でソー
2大オープンソースRDBMSの近未来が見えた！（1/2） － ＠IT
オープンソースDBMSのコミュニティが一堂に会し、それぞれの技術について発表し合う「オープンソースカンファレンス 2011.DB」。MySQLとPostgreSQLの2大DBMSの将来像を探った。（編集部） 2011年11月5日、オラクル青山センターにてオープンソースカンファレンス2011.DBが開催された。話題をデータベースに限定してオープンソースカンファレンスを開催したのは、2008年6月以来3年ぶり。イベントではコミュニティを代表するメンバーが各製品の近況や概要を解説した。商用製品のオフィシャルなセミナーと違い、聴衆が仲間であったり、関連コミュニティのメンバーであったりするので、勉強会のように打ち解けた雰囲気で進んでいく。本記事ではPostgreSQLとMySQLのセッションを中心に紹介する。 9.1では同期レプリケーションまで進化 最初のセッションで登壇したのは日本PostgreS
Heroku 上で Django を動かす - Twisted Mind
Heroku | Cloud Application Platform Heroku と言えば Ruby/Clojure/Node ですが、 Django アプリ（というか Python アプリ)がデプロイできるようになったらしいので試してみました。 変更履歴 2011-09-21 gunicorn 対応しました github https://github.com/voluntas/heroku-template-django 環境 Mac OS X Lion でやっているので、Linux や Windows だとまた別だと思います。 必須 Git Python 2.7 Ruby (gem install heroku するためにいる) heroku にアカウントを作る というかそもそも Heroku のアカウントすら持っていなかったので、アカウント作るところから。 https://api
Build your own OpenStreetMap Server - Ubuntu 10.04 Lucid Lynx | Weait.com
Where's that awesome tutorial?!?!? The articles on how to install and test your own OpenStreetMap tile server are some of the most popular articles on weait.com. I have retrieved these articles from the archives. While dated in places, you might find them helpful. Comments are welcome but the articles are essentially unmaintained at this time. The two versions of the tutorial can be found here. Bu
第21回 「流行り廃り」を意識しよう | gihyo.jp
だいたいその当時メインストリームなものを使っています。1998-2000年のHP-UXだけは、メインストリームだからではなく会社の事情によるものです。 時代時代でメインストリームが変化するのはよくあることで、かつやむをえないことです。これは異論もあるでしょうが、筆者のだいたいの感触としては、FreeBSDはLinuxに取って代わられ、PostgreSQLはMySQLに取って代わられた気がします。 「流行り」の法則 筆者はよく言うことなのですが、日本で流行る技術というのはある一定の法則があると思います。それは「日本語が充実しているかどうか」です。 たとえば日本語の良書（“良”というところがポイントです）が充実しているかどうか、日本語で良い情報発信をする人がたくさんいるかどうか、日本語コミュニティが活発かどうかなどです。もちろん、日本語が充実しているから流行る、というのは一概に良いことで
真のオープンソースとは何か？
@tmaesaka氏からのツイートで知ったのだが、LPI-Japanが見過ごすことが出来ない発言をしている。 PostgreSQL技術者を認定、LPI-Japanが「OSS-DB技術者認定試験」開始 - ITpro 以下、引用。 OSS-DBには、PostgreSQLと米OracleのMySQLがあるが、「特定ベンダーの管理下にあるソフトは真のOSSとは言えない」（LPI-Japanの成井弦理事長、写真）として、今回スタートするOSS-DB ExamではPostgreSQLのみを対象とした。 これはおかしなことだ。一体誰が「特定ベンダーの管理下にあるソフトはOSSではない」などと決めたのだろう？ MySQLはオープンソースソフトウェアです。MySQLはれっきとしたオープンソースソフトウェアだ。ただし、Community Editionに限る。MySQLはデュアルライセンスであり、GPL版と
Ubuntu設定のいろいろメモ 2011-06-01 - きしだのはてな
日本語ディレクトリを英語にする 「デスクトップ」とかディレクトリ名が日本語になってて気持ち悪いので英語に。 $ LANG=C xdg-user-dirs-gtk-update Javaのフォント設定 Javaのフォントの設定がおかしいらしくNetBeansとか起動するといろいろ文字化けするので対策 $ cd /usr/lib/jvm/java-6-sun/jre/lib/fonts/ $ sudo mkdir fallback $ cd fallback $ sudo ln -s /usr/share/fonts/truetype/takao/Takao* ./ PostgreSQL9のインストール 2011/06/04追記 Ubuntu10にこの方法でパッケージからPostgreSQL9入れるとなんか不安定になってしまう 2011/06/07追記 VirtualBoxの問題だったかも。
OSSDB界を混乱させるPostgreSQL CEの改名(OSS-DB CE)に反対します。 | キムラデービーブログ
一言二言、知っていることだけコメントさせていただきます。 まず、「PostgreSQL CEの改名」ではないです。SRA OSSとLPI-Japanの間で*話合いがあり(詳細はきいておりません)*、今後はLPI-Japanさんが主体で資格試験のひとつとして実施されると聞いています。 また、LPI-Japanさんが今後MySQLやfirebirdを含めてOSS-DB CEの資格試験とするかどうかは、我々にもわからないところです。 すぐにMySQL版が用意されるかもしれませんし、されないかもしれません。そこのところは独立した団体であるLPI-Japanさんがすべてハンドリングする部分なので。 MySQLも社内テストが充実しているようですので、もしもLPI-Japanに公開できるのであれば、働きかけてみるのも手かもしれません。LPI-Japanがpostgresを最初にOSS-DB-CEに採用し
DBの「トランザクション分離レベル」が必要な理由 （PostgreSQLで，ファントム・リードを防止すべきサンプル事例） - 主に言語とシステム開発に関して
データベースには，「トランザクション分離レベル」というものがある。 以下では，それが なぜ必要なのか？ デフォルトのレベルでは，どうして駄目なのか？ PostgreSQLでは，どうやってレベルを変更・確認するのか？ などを取り上げる。 トランザクション分離レベル トランザクション分離レベルとは： 複数のトランザクションが同時に実行された場合に、他のトランザクションからの影響がどのくらい「分離」するか，のレベル。 ANSI規格では，４つのレベルがある。 READ UNCOMMITTED （一番低い） READ COMMITTED REPEATABLE READ SERIALIZABLE（一番高い） 徹底比較!! PostgreSQL vs MySQL 第３回：トランザクションの比較 http://thinkit.co.jp/free/article/060... トランザクション処理に詳しく
「第1回 MongoDB JP ＆ CouchDB JP 合同勉強会 in Tokyo」を開催してきました！ - doryokujin's blog
こんにちは、@doryokujinです。本日は12月12日（日）行われました「第1回 MongoDB JP ＆ CouchDB JP 合同勉強会 in Tokyo」の報告をします。当日は忙しい時期にも関わらずたくさんの人に参加していただきました。会場準備で色々を手間取ってしまいましたが、会場提供者のニフティさんと参加者の皆様の暖かいご協力もあって無事に勉強会を終えることができました。どうもありがとうございました！また、当日はgihyo.jpさんの協力のもと、Ustream配信も行いました。このUstream動画と共に勉強会報告の方をgihyo.jpさんの方にも書かせていただく予定ですのでぜひともそちらの方も宜しくお願いします。今回の勉強会のツイートがまとめられたTogetter：第1回 MongoDB JP & CouchDB JP 合同勉強会 in Tokyoもなかなかが臨場感があって面
ログ関連の設定 — Let's Postgres
NTT オープンソースソフトウェアセンタ 笠原 辰仁 PostgreSQL でのおすすめできるログの設定をお知らせします。ここでいうログとは、PostgreSQL で発生したエラーや警告などの問題を記録するサーバログを指します。ログに関する設定は、PostgreSQLの運用を始める際に最も注意すべきパラメータ設定の一つです。ログは問題発生の有無や問題の原因を切り分ける際に、非常に重要な情報となります。適切なログの運用に向けて、下記を参考にしてみてください。 ログ運用関連のパラメータ設定 PostgreSQLのデフォルト設定（ソースコードからのインストール）では、ログは残さない設定になっています。インストールに使ったパッケージによっては、初めからログを残すよう設定ファイルがカスタマイズされていることもありますが、まずは、確実にログを残すための設定を行いましょう。 ログの運用としては大きく3パ
Apache module accessing PostgreSQL
PostgreSQL とやりとりする Apache のモジュールを作ってみた 以前から、特に理由はないのですが、Apache のモジュールを作りたいと思っていました。 で、この間、発作的に、 Apacheモジュール プログラミングガイド という本を買ってしまいました。 まあ、せっかくなので、作ってみました。 あ、今回使用したソースは、 ここにあります。 目次 1. 環境 2. 作るもの 3. モジュールの内容 3.1 基本なところ 3.2 設定ファイルなところ 3.3 pgsample_handler 3.4 pgsample_cdir_cfg 3.5 PostgreSQL とやりとりする関数たち 4. 動作確認 5. 最後に 1. 環境 VineLinux 2.5 および Debian GNU/Linux woody 上で確認しました。 Apache のバージョンは、どちらも 1.3.2
[Think IT] 第2回：PHPのSQLインジェクションを実体験 (1/3)
【セキュリティ最前線】 セキュリティホールをついて遊ぶ 第2回：PHPのSQLインジェクションを実体験 著者：大垣 靖男 公開日：2008/1/18（金） PHPでSQLインジェクションを実体験 本記事では、セキュリティに対する課題を実体験していく。第2回となる今回は、いよいよ実際にテスト環境を構築し、攻撃を行う。標的となるのはWebシステムの開発で幅広く利用されている「PHP」だ。 PHP本体にはWebブラウザからの入力のデコード処理をはじめとして、Webシステム開発に必要不可欠な機能が組み込まれている。2008年1月3日に最後のPHP 4.x系のリリースとなる「PHP 4.4.8」がリリースされ、これ以降PHP 4.x系の開発は行われなくなった。現在はPHP 5.x系のPHP 5.2.5のみがPHPプロジェクトにより正式にサポートされている状態だ。 データベースサーバへのアクセスもWe
スラッシュドット ジャパン | 反撃ののろしを上げるPostgreSQL
やや旧聞に属するが@ITの記事によると、オープンソースのデータベースサーバとしてずっとMySQLの後塵を拝しつづけてきたPostgreSQLが、最近になって急速に勢力を伸ばしていると言う。2006年のIOUG調査ではPostgreSQLを使っている割合はわずかに9%だったが、2007年10月に発表された最新の調査結果では(依然74%はMySQLユーザであるものの)PostgreSQLの利用は20%にまで拡大したそうだ。 これは、高速化などPostgreSQLそのものの改良が急ピッチで進められていることに加え、SonyやAppleがPostgreSQLベースのソリューションを使用していることが知られるようになり(日本だとR25.jpも)、知名度が上がったのが一因だと言う。サードパーティアプリケーションや教育用書籍を充実させていくのが今後の課題と考えられるとのこと。
buzzword(バズワード)
株式会社バズワードとして運営しているサイトの一覧です。 JavaDrive Java、 Python、 JavaScriptなどのプログラミング言語の習得を行うための解説サイトです。他に PHP や Ruby、 Perl、 C言語などの解説を行っている他、正規表現やエディタの使い方など関係する知識の解説を行っています。 DBOnline MySQL、 PostgreSQL、 SQLite などデータベースに学習するためのサイトです。インストール方法や具体的な操作手順について解説を行っています。 ハウツーノート Twitter や Gmail、 YouTube など各種インターネットサービスの使い方について解説を行っています。 OfficePro Microsoft 社の Word、 Excel 、 Access に関する利用方法や VBA を使ったプログラミング方法について解説を行っていま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
削除フラグのはなし
ja.verbmode.net is Expired or Suspended.