Snapchatを支える技術：768台のRedisをGoogleクラウドで構築 #gcpja - Qiita
GoogleのSVP、Urs Hoelzleが「いま世界でもっとも人気のあるスマートフォンアプリ」と評し、Facebookによる3000億円の買収提案をスルーしたとされるSnapchat。その共同設立者でCTOのBobby Murphyが、3/25に開催されたGoogle Cloud Platform Liveに登場し、“Snapchatを支える技術”としてのGoogle Cloud Platform (GCP)の使い所や開発体制をかなり具体的に説明していたので、補足と解説を交えながらざっと意訳してみた。 SnapchatのCTO, Bobby Murphyと、GoogleのSVP, Urs Hoelzle From Google Cloud Platform Live SnapchatがGoogle App Engineを選んだ理由 "それまでいくつかの小さなプロジェクトでGoogle
Google App Engine、全データセンターを巻き込む連鎖的障害で能力半減、復旧のためフルリスタート
Google App Engine、全データセンターを巻き込む連鎖的障害で能力半減、復旧のためフルリスタート 「2011年1月にHigh Replication Datastoreを立ち上げて以来、App Engineでこれだけ大規模なシステム障害を経験したことはなかった」。グーグルのGoogle App Engine Blogは10月26日付けのエントリ「About today's App Engine outage」でこう書き、同日発生したApp Engineの障害について報告しました。 この障害は10月26日のおおよそ午前7時半から11時30分までの約4時間、 App Engineのリクエストの約半分が失敗するという大規模なものでした。同社は以下のように経緯を説明しています。 ルータへの負荷が全データセンターへ拡大 4:00 am - Load begins increasing o
text.ssig33.com - 金くれを App Engine から heroku に引っ越した。
金くれを App Engine から heroku に引っ越した。 App Engine が値上げをするのでそれに対応した。 Twitter で App Engine の値上げの話で盛り上がっていて、課金履歴から新料金での課金額が分かるよという話だったので、見てみると金くれの場合新料金では一日 $1.5 ほど取られるとのことらしい。 話にならない。金が欲しくて作ったのに毎月 $45 も持っていかれるのは狂気の沙汰だ。 そこで App Engine から heroku に移行することにした。 App Engine 版のソースコードは紛失してしまっているのでスクラッチで作り直した。そもそも残っていたとしても App Engine に様々な部分が最適化されており(JRuby を使ってはいたものの)再利用は難しかったと思う。 データを標準の機能でエクスポートした。なかなか再利用の難しいデータがエク
2011年のPaaSはAmazonの独り勝ちか? - ひがやすを blog
AmazonからBeanstalkが発表されました。 http://aws.typepad.com/aws_japan/2011/01/introducing-amazon-beanstalk.html Beanstalkを間違っているけど、分かりやすく例えると制限のないAppEngineのようなものです。 GoogleからはApp Engine for Business(4Bと省略)、SalesforceからはVMforceが登場し、2011年のPaaSは、これらの技術の戦いになるでしょう。 どの技術が勝つのか予想する前に、PaaSには、二つの分野が存在することを理解しておきましょう。ソーシャル系などのスケールアウトが必要な分野とそれ以外です。 それぞれの分野で必要とされるものが違うので、分野ごとに勝者を予想する必要があります。 スケールアウトを必要としない分野で求められるのは、制限の無
グーグル、フル機能のMapReduceをGoogle App Engineで提供へ
グーグルは同社のクラウドサービスであるGoogle App Engineで、フル機能のMapReduce機能を提供することが同社のイベントGoogle I/O 2011で明らかにしました。 これまでGoogle App EngineではMapReduceを構成する「Map」「Shuffle」「Ruduce」の3つのうち、Mapperの機能の提供が行われてきました。 Google I/O 2011で行われたセッション「App Engine MapReduce」では、MapReduceを構成するすべての機能の提供が行われることが発表されています。 セッションのポイントを紹介しましょう。 App Engine MapReduce App EngineエンジニアリングチームのMike Aizatsky氏。 MapReduceは数年前にグーグルが開発した処理。社内ではほとんどあらゆるチームがこの処理
Pythonを使う理由と作った物(ソース付)
みなさん、Pythonってご存知でしょうか？ ニシキヘビ。。ではないです。 プログラミング言語のPythonです。 ↓Pythonのロゴ。蛇が2匹です。 このPython。日本国内では、それほど知名度は高くないのですが、2010年で最も成長したプログラミング言語にも選ばれるなど、急速に人気の高まりつつある言語です。2011年にはPHPとC++を抜かして3位になれそうな勢いです！では、このPython、どうして急に人気がでてきたのでしょうか？理由は大きくわけて3つあると思います。 Pythonが急に普及し始めた理由 GAEで動作する これが最大の理由だと思います。Googleのサーバを使って簡単にサービスを提供できます。1日あたり1GBまでの転送なら、料金は一切かかりません ※1。無料利用分を超えて使った場合も、課金設定(1日当たりの支払い額の上限）を設定するだけで、簡単にサーバを増強できま
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
Play+ScalaによるGAEアプリの開発方法について - mumoshu.log
（この記事は Scala Advent Calendar jp 2010 の6日目です。） Play! + Scala + GAEのWebアプリ開発はどんなものか調べてみよう…とおもったら、 既に@ymnkさんがplay+scala+gaeのサンプルアプリGitHub - ymnk/lists-with-play-scala-gae: A sample program for Play! Scala with GAEを作られていました。 このサンプルは、 Play! Framework(Java用のWebアプリケーションフレームワーク) Play!用のScalaモジュール(MVCがJavaでは無くScalaで書けるようになります) Play!用のSienaモジュール(GAEに対応しているSienaというORMapperをPlay!から使えるようにするモジュールです。Play!のModelは
google appengine に関してひと言
ここ数日、Twitter上で appengine に関する発言をたくさん目にする。それを見る限り、「注目をされてはいるが、手を出しかねている人が多い」というのが現状だろう。そこで、私からもひと言。 App Engine は純粋なソフトウェア・エンジニアにとっての天国 私自身、色々な開発環境を試して来たが、私のようにプログラミングが大好きで、新しい言語や環境を学ぶのが楽しくて仕方が無いエンジニアにとっては、「App Engineは天国」というのが正直な感想。SQLやRailsのように一見開発効率を良くしてはくれるが、直感的に実行効率とかが把握できない「補助輪付きプログラミング」と違い、App Engine上でのプログラミングは、ちょっと手を抜くとすぐに実行効率の悪さとして跳ね返ってくる「一輪車プログラミング」。 新しい言語を学ぶのが苦ならApp Engineは避けた方が良い 現時点で、Pyt
datastoreをちゃんと理解するための目次 - urekatのスカンク日記３
構造と仕組みをちゃんと理解する。いきなりJDOとかダメって。 http://songofcloud.gluegent.com/2009/11/slim3-datastore1.html 間違い、追加等ありましたらおしえてください。 1.概要 http://www.atmarkit.co.jp/fjava/index/index_bigtable.html 分散KeyValueストア:「巨大なハッシュ=datastore」に「小さなハッシュ=Entity」をたくさん詰め込む get/putの速度:データが無限に増えても遅くならない 全体図 2.スキーマレス Entity = Hashみたいなもの : Valueには全プロパティがシリアライズされて保存される Key / Kind プロパティの型 : int / string / date / list / ... 3.インデックス / クエリ
Data Modeling in Python | App Engine standard environment for Python 2 | Google Cloud
Data Modeling in Python Stay organized with collections Save and categorize content based on your preferences. Note: Developers building new applications are strongly encouraged to use the NDB Client Library, which has several benefits compared to this client library, such as automatic entity caching via the Memcache API. If you are currently using the older DB Client Library, read the DB to NDB M
Google App Engine入門：フレームワークの選択
Google App Engine向けのアプリを作る際に最初に悩んだのはフレームワークの選択。Google App Engineにはwebappという最低限の機能を持ったフレームワークが付いて来るが、Python使いの人たちの間では、DJangoというフレームワークが広く使われているらしいし。かといって、あまり大きなフレームワークを使うと、パフォーマンスのチューニングとかもしにくくなるし、フレームワークそのもののバグや制限に悩ませられる可能性もある。 そんな中で増井君が見つけてくれてまず試したのが、Junoというフレームワーク。DJangoと比べると遥かに小さく、WebappよりもURLのルーティングのメカニズムとかが充実している。 そこで一旦はアプリをJunoの上で作り始めたのだが、Junoのソースコードを見ているうちにいろいろと気に入らないところが出て来た。不必要にオプションが多いし、
Google App Engine上のベスト・プラクティス、その１: Datastore
Google App Engine上でアプリを作りはじめて約二ヶ月。いろいろと分かって来たこともあるので、自分へのメモも含めてまとめてみる。まずは、Datastoreの話から。 なによりも大切なのはデータベースの設計 あたりまえと言えばあたりまえの話だが、App Engine上でアプリを作る上でもっとも大切なこと（＝頭を使うべきところ）は、データベースの設計である。特にリレーショナル・データベース（RDB）上でのアプリ作りに慣れた人には、大きな「発想の転換」が必要なので、ここは注意が必要。 特に絶対にやっては行けないのは、 将来RDB上へ移行できるようにレイヤーを作って、その上にアプリを作る RDB上に作ったアプリをデータモデルを大幅に変更せずにApp Engine上に移植する RDBを前提に設計されたフレームワークをApp Engine上に載せて、その上にアプリを作る など。App En
AppEngine/Jのspin-upを劇的に改善する方法 - ひがやすを技術ブログ
AppEngineは、アクセスがあったときにアプリケーションを起動し、しばらくアクセスが無ければアプリケーションを終了させ、また次のリクエストで再起動するという仕組みを導入しています。 そのため、アプリケーションを起動(spin-up)する時間がとても重要になってきます。このspin-upの時間はpython(webapp)で60cpu_ms以下。(cpu_msはcpuが使う仮想的な時間ですがmsと同じ感じで捉えてもらってもとりあえずは大丈夫です)JavaのServletだと600cpu_msくらいです。PythonでもDjangoような大きなフレームワークだと1000cpu_msくらい(アプリによる)かかりますが、許容範囲内。JavaだとSlim3で1300cpu_ms、Springだと早くて7000cpu_msという感じで、Slim3がギリギリ許容範囲内でしょうか。ほんとうは、1000
GAEの微妙なところ - urekatのスカンク日記３
(小)無料枠でおさまるサイト (中)GAEの無料枠でおさまらないまあまあサイズのサイト (大)MySQLのシャーディングが必要なレベルの大規模サイト と分けて、GAEで嬉しい規模感が(小)or(大)のどちらかだって所が微妙だと思っています。 (小)無料枠でおさまるサイト 無料はとにかくうれしい。 cronでTwitter API叩ければそれだけでいろいろできますものね。 botとかbotとか。 herokuもあるけどやはり制限がおおいみたい。 amazonも無料が始まったらしいが期間限定。 GAEは制限なく無料で使えるので素敵。 小さいサイトならGAEマンセーですね。 小さいといっても500万PV/月以下です。相当行けます。 (大)MySQLのシャーディングが必要なレベルの大規模サイト writeをkeyでシャーディングだなんてめんどくさすぎるのでDatastoreの自動分散は嬉しい。開発
GAEってSSL使えるのね - ワインと将棋とインターネット
appengine-web.xmlに true つけるだけ。 これで用途が広がるな♪
FlaskならApp EngineのTwitter Botが15行で書ける — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 みんなのブロックチェーンは，ブロックチェーンの入門書。暗号やハッシュなどを含め，基礎からブロックチェーンの仕組みを学べる書籍です。 いろんな方に「新しい技術を学ぶことの楽しさ」を感じ取ってくれたら著者として嬉しいです:-)。お金は技術的にどのように定義されるのか。 みんなのIoTは，モノのインターネットと呼ばれるIoTの入門書です。IoTの基本について，読者に寄り添って優しく解説しました。裏テーマは一番とっつきやすいPython入門書。サポートページはこちら みんなのPython 第四版は，より分かりやすい入門書を目指し，機械学習やデータサイエンスの章も追加して第三版を大幅に書き換えました。Python 3.6にも華
twiwt.org - このウェブサイトは販売用です！ - twiwt リソースおよび情報
このウェブサイトは販売用です！ twiwt.org は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、twiwt.orgが全てとなります。あなたがお探しの内容が見つかることを願っています！
ウノウラボ Unoh Labs: Google App Engine for Scala
おはようございます。うちだです。 最近Scalaが世界中の一部の人達の間で盛り上がってるようですね。 私も以前のエントリーに書いたように、次にくる言語はScalaだと信じています。 5分くらいで知るScala 最近のプライベートな時間はGAE漬けでScalaの波に乗れていなかったのですが、 ふとGAEでScalaを使えばいいのではないかと気付き、試してみました。 Eclipseをダウンロード どれをDLすればいいのか迷いながらClassicを選択 GAEのプラグインをインストール http://code.google.com/intl/en/appengine/docs/java/gettingstarted/installing.html SDKも一緒に入れましょう Scalaのプラグインをインストール http://download.scala-ide.org/update-cur
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cpedialog - Google Code