Instagram のスケール正攻法 -- Kosei Kitahara's Blog
Instagram がどこに買収されたとかは他のニュースサイトにお任せして、Django アプリケーションを正攻法でスケールして "成功" してるのがとても興味深いです。現時点で Instagram Engineering で紹介されていることと TechCrunch にも掲載されたスライドから個人的なメモとしてまとめてみました。 Instagram の哲学は シンプルであること オペレーション負荷を最小化すること すべて装備 とのこと。 Instagram は以下の OSS, サービスで構築されているようです。 >>> OS / ホスティング Ubuntu Linux 11.04 を Amazon EC2 にホスティング。以前のバージョンは高トラフィックになると固まる問題があったようです。運用は 3 人。EC2 にホスティングしている理由は、調査結果によるものではなく、"まだ進化途中だか
Tnal研究室wikiページ -
#!/usr/bin/env python # -*- coding:utf-8 -*- """ feature_vector.py % python feature_vector.py file import feature_vector result = feature_vector.analyse(text) """ import MeCab def analyse(text): while node: surface = node.surface.decode('utf-8') node = node.next return feature_vector if __name__ == '__main__': import sys filename = sys.argv[1] file = open(filename).read() feature_vector = analyse(
記録: extbody -- PythonによるBlog&News本文領域抽出ツール
Pythonで、BlogやニュースのWEBページから、本文領域のHTMLを抽出するツール extbody -- Blog&News本文領域抽出ツール を作りましたので公開します。 いつものごとくα版です。（そろそろいいかげんに、ひとつひとつきっちりと作ったほうがいいよね。） 以前から、他のアプリの一部として使っていたものを分離してモジュールにまとめたものです。 * 正解率8割程度。（2ch抜粋系blogにはめっぽう弱いです。） * 日英対応。 です。 中身は試行錯誤が複雑にからまった呪文のようなソースになっておりますことをご了承ください。 最初はPython標準のHTMLパーサーや、有名なBeautifulSoupを使ってましたが、時折解析できないHTMLがありましたので、結局自筆の正規表現で解析しています。 おおざっぱにtableタグとdivタグぐらいの対応が少なくとも合っているソースで
ウノウラボ Unoh Labs: 2009年版Python開発環境を整えよう
なでしこの作者じゃない方のsakatokuです。 以前書いた「Python開発環境を整えよう」という記事からだいぶ時間が経ってしまったので、内容を更新したいなぁと思っていたのですが、ようやくその機会が来ました。 virtualenvで開発環境をつくる 開発環境をつくるにあたって次のような問題が生じると思います。 root権限がないためにインストールしたいライブラリが使えない 新しいライブラリをインストールしたり、既存のライブラリをアップグレードすることで、既に動いているアプリケーションを壊したくない 複数のバージョンのPythonを使って開発、テストを行いたい 自作したPythonパッケージのインストールのテストを行いたい 以前の記事ではvirtual-pythonという解決策を紹介しましたが、現在ではvirtualenvというツールが広く使われるようになってきています。 virtuale
2008-01-12 - Future Insight
実際に取得した画像がどんなことになっているか把握したかったので、画像2100枚をHTMLで出力してみました。75x75の画像を読み込んでおり、画像をクリックするとlightboxして元のサイズの画像にアクセスします。下のtitleをクリックするとFlickrのページに飛びます。軽くなるように気をつけましたが、それでも結構CPUパワーを使うので、遅いPCで開くときは気をつけてください。 http://choichoi.sakura.ne.jp/idols/ こうやって眺めてみるとFlickrにあがりやすいアイドルとあがりにくいアイドルというのがいるようです。小倉優子は500枚取得しても、まだまだたくさん画像があるようでした。さすがグラビアを終わらせたアイドルです。この辺りの考察はまた後で行いたいと思います。 [追記]アイドルの名前のスペルミス、画像を取得できないアイドルの整理し、データを取り
Trac 0.10系向けのパンくず表示Macroを作りました！ - 守破離
会社でTracのWikiにパンくず表示するMacro欲しいよね〜って話が上がったので、さくっと作って見ました （*ﾉωﾉ） 如何せん Python 初めて ＆ Trac Plugin 初めて なのでソースはお世辞にも綺麗じゃありませんが、目的の動作は果たしてるので公開してみます。 どういった動作をするかというと、TracのWikiにおいてページを トップ/概要/詳細 みたいな感じでスラッシュ区切りの名前で管理している場合に、Wikiの好きなところに [[TopicPath()]]って書くと、その部分が トップ > 概要 > 詳細 な感じのパンくずになります。 単純にパンくずが表示されてるだけじゃ意味ないんで、最終階層以外は自動でリンクが張られます。 この場合だと トップ と 概要 はリンクになってて 詳細 は単なるテキストになってる感じです。 と言うわけで、以下がソース （*ﾉωﾉ） #
PloneDocs/CommonPloneProgrammingRecipes - trac.m-takagi.org - Trac
Ploneプログラミングレシピ 対象バージョン: Plone 2.5.x、Plone 2.1.x 対象読者: 開発者 原文: Common Plone programming recipes by Mikko Ohtamaa - last modified June 21, 2007 - 00:23 翻訳者: TAKAGI Masahiro PloneのオブジェクトをPythonで操作するための基本的な方法をまとめました。 導入 前書き このチュートリアルでは、Plone/ZopeのオブジェクトをPythonで操作する基本的な手法を説明します。あくまでも基本的な部分だけです。 何か新しい項目（あなたの血と汗と涙の結晶 (^o^)）をここに追加したいという場合はコメントをください。私が書き足します。あるいは、ここで説明している内容よりももっとわかりやすい書き方があれば、ぜひ教えてください。
【レポート】Python v.s. Java - Zopeで有名なNuxeo、PythonからJavaへ (1) Java再考 | エンタープライズ | マイコミジャーナル
Nuxeoは同社の主力プロダクトであるECM(Enterprise Content Management)プラットフォームを、これまでのZopeアプリケーションサーバベースからJavaプラットフォームベースに移行していくという。同社Vice PresidentであるEric Barrocaが自身のブログで明らかにしたもの。NexeoのサイトにはPythonからJavaへの移行について、そのメリットなどを説明するコーナーも設けられている。 同社は2000年、主力プロダクトのプラットフォームとしてPythonで開発されたZopeを選択。以後6年間、ZopeおよびPythonにもっとも注力している企業のひとつとして注目されてきた。 成長を続けてきた同社は、その顧客から高いレベルでの性能、可用性、統合性などが求められるようになってきており、いくつかのプラットフォームに対する調査の結果、Javaが要
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python開発統合環境の決定版！