#appengine MapReduceを使ってみた - スティルハウスの書庫の書庫
Google I/O 2010で発表されたApp Engine新機能のひとつが「AppEngine-MapReduce（Mapper API）」です。このブログでもいろいろ憶測に憶測を重ねてきましたが、ついにApp EngineでMapReduceサポート！！…なんですが、しかし発表されたセッション会場もいまいち盛り上がりに欠ける感じ^^;; 理由は後述しますが、ともあれ（jw）、やっとのことApp EngineでもMapReduceがサポートされたわけです。 リンク集 appengine-mapreduce - Google Code Google I/O 2010 - Batch data processing with App Engine - YouTube Live Wave: Batch data processing with App Engine Exploring the
駆け足で見るGoogle Cloud SQLでできること（1/3） － ＠IT
連載：使ってみました！ Google Cloud SQL 第1回 駆け足で見るGoogle Cloud SQLでできること クラスメソッド 中村修太（なかむら しゅうた） 2012/2/22 アマゾンやマイクロソフトに続いて、ついにグーグルもRDBMSのサービスを提供し始めました。今回は、あえて詳細な解説は避けて、このサービスでどんなことができるのかを駆け足でお見せします（編集部） GoogleがついにRDBMSサービスの提供を開始！ 2011年11月、Googleは「Google Cloud SQL」というサービスの提供を始めました。リレーショナルデータベース管理システム（RDBMS）の機能をインターネットを通して提供するサービスです。はやりの言葉で言えば、「クラウド環境で動作するRDBMS」ということです。 本稿執筆時点では、このような形でRDBMSのサービスを提供している例は少なく、
Google App Engine 倹約のすゝめ ajn18-shin1ogawa - Google Docs
The version of the browser you are using is no longer supported. Please upgrade to a supported browser.Dismiss
GAE/Pyでbulkloaderを使ってデータをアップロードする - すぎゃーんメモ
bulkloaderとは remote_apiを使ってコンソールからDatastoreにデータをアップロードするためのツール。 初期データとして大量のデータをDatastoreに突っ込んでおきたいときなどに便利。 逆にDatastoreにある内容をダウンロードすることもできる。削除をするようには作られていない？ 今のところPython版のみ。Java版もそのうち出る？ http://code.google.com/intl/ja/appengine/docs/python/tools/uploadingdata.html 簡単な使用例 例えばアプリケーション内で、model.pyというファイルでこんなクラスを作るとする。 from google.appengine.ext import db class PersonalData(db.Model): name = db.StringPro
Google App Engine Python SDK 1.4.2 で Django 1.2.5 を使う - OZACC.blog
まだWeb上のリリースノートには載ってないけど、Google App Engine Python SDK 1.4.2がリリースされてました。 ソースに付属のリリースノートには、 - Django 1.2.5 is available via use of the use_library() declaration. This version of Django has also been added to the Python SDK. (Django 1.2.5 が GAE 上に搭載され use_library() を通して使えるようになりました。SDK にも入ってるよ)とあり、僕にとっては嬉しいアップデート。1.2.5 なんて昨日リリースされたばかりなのにね。 これで、今までのように Django 1.2 を zip インポートで使わなくて済む。zip インポートでも別に困ったことはな
GAE/Python - DataStoreの使い方をまとめてみた
DataStoreとは 本記事内のDataStoreは、GoogleAppEngineのデータストアのことを指す。GoogleAppEngineは、ファイルの書き込みが一切できないため、DataStoreを使う以外にデータを永続化する方法はない。短期であればmemcachedに保存することもできるが、memcachedに保存されたデータは保存期間が保証されないため、一時データをキャッシュして高速化(or 負荷軽減)以外には実質つかえない。 DataStoreの特徴 DataStoreの特徴は、スケーラブルであること。データ数が1万件でも1億件でもほぼ同じ時間で結果が返ってくる（らしい）。ただし、通常のRDBでは簡単にできる操作がDataStoreでは非常に重い処理だったり、不可能だったりするので注意。 苦手な処理 件数のカウント ⇒件数のカウントは、データ全体を取ってくる処理に近いだけの処
GAE/Pythonでセッション管理の実現 | Ajalog.7z
2010/04/05 GAE/Pythonでセッション管理の実現 Google App Engine/Pythonで（割と）本格的なセッション管理ができるライブラリを作ってみた。 session.py #!/usr/bin/env python from google.appengine.ext import db from google.appengine.api import memcache import time import hashlib #このクラスを派生させてセッションのデータを作る class StoreData(db.Model): createstime = db.DateTimeProperty(auto_now_add=True) sessionid = db.StringProperty() #セッションの初期化、登録 def make(request, r
タスクチェーンのフレームワーク - GeekFactory
App Engineでは実行時間に制限があるため、長時間にわたる処理を行う場合は複数のタスクに分割する必要があります。この手法は一般にタスクチェーンと呼ばれています（たぶん）。 タスクチェーンを抽象化してフレームワークにできるか考えてみました。 タスクチェーンを実現するには、タスク間のデータの受け渡し、タスクの一意性保証を実装する必要があります。 Driver タスクチェーンを開始するためのサーブレットです。Driverを経由せず、Webブラウザやcronからタスクチェーンを開始することも可能です。 Task タスクチェーンにおけるタスクを抽象化したものです。 Taskは入力として Map を受け取り、出力として次のTaskに Map を渡します。 public interface Task { /** * Process of the task. * @param input data
google appengine に関してひと言
ここ数日、Twitter上で appengine に関する発言をたくさん目にする。それを見る限り、「注目をされてはいるが、手を出しかねている人が多い」というのが現状だろう。そこで、私からもひと言。 App Engine は純粋なソフトウェア・エンジニアにとっての天国 私自身、色々な開発環境を試して来たが、私のようにプログラミングが大好きで、新しい言語や環境を学ぶのが楽しくて仕方が無いエンジニアにとっては、「App Engineは天国」というのが正直な感想。SQLやRailsのように一見開発効率を良くしてはくれるが、直感的に実行効率とかが把握できない「補助輪付きプログラミング」と違い、App Engine上でのプログラミングは、ちょっと手を抜くとすぐに実行効率の悪さとして跳ね返ってくる「一輪車プログラミング」。 新しい言語を学ぶのが苦ならApp Engineは避けた方が良い 現時点で、Pyt
Google App Engineを使った帳票出力システム·don-gabacho MOONGIFT
don-gabachoはGAE/Jによるオープンソース・ソフトウェア。基幹システムにおける最大の目的は帳票の出力にある。なのでシステムを開発する際には帳票へ出力する項目や他システムへ受け渡す項目から考えると分かりやすい（個人的な経験として）。 出力された帳票 しかし帳票を出力するシステムを考えるとなると話は違う。特にWebシステムは帳票出力が苦手だ。通常のHTMLやテキストファイルを出力するのに比べると異なるライブラリが必要になったりする。そこで試したいのがdon-gabachoだ。 don-gabachoは名前はユニークだが、その実態は有益な帳票出力システムとなっている。自分で帳票の設計が可能で、さらに項目を設定することで出力される値を任意に変更ができる。生成された帳票はExcelファイルとしてダウンロードができる。 入力画面 PDFではないが、Excelの方が細かな調整もできるので便利
Google App Engine(Mac) で開発サーバのローカルデータストアのデータが再起動で消える - We All Get Old - Naskin Diary
先日からいじっている Google App Engine ですが、開発サーバ(自分のマシン)のローカルデータストアが再起動すると消えてしまう(？)ので、自分で初期データを再登録する羽目になった。 ログを見ると起動時にデフォルトのローカルデータストアのデータ格納ディレクトリ(/var の下のどこか)のデータを読めないと書いてあった。 Python 開発用サーバー#データストアの使用を参考にデータの保存場所を変えてみたら一応解決した。 GUIツールのGoogleAppEngineLauncherだと「Edit」→「Application Settings...」で設定画面を出して「Extra Frags:」に「--datasotre_path」を追加する。 オプション名が「datastore_path」なのでディレクトリを指定したらダメだった、おかしいなと思ったらデータを格納するファイルを指定
Google App Engine をはじめてみよう
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
App EngineのEntityGroupを理解しよう - ひがやすを技術ブログ
App EngineのEntitiGroupは、Keyの親子関係を利用して組み立てられたEntityの集まりです。 Entityとは、Bigtable上の1つの行で、ユニークに識別するためのKeyを持っています。 Keyは、種類をあらわすkindとAppEngineから自動的に採番されるidもしくはアプリケーション側で自由に決めることのできるnameで構成されます。 通常は、AppEngineの自動採番に任せますが、Emailのアドレスをキーに使いたい場合などは、nameを使います。kindはテーブル名のようなものだと思ってください。 Keyの親子関係は次のようにして作ります。 Key grandparentKey = KeyFactory.createKey("Grandparent", "しげお"); Key parentKey = KeyFactory.createKey(grand
App Engineのユニーク制限を正しく理解しよう - ひがやすを技術ブログ
Google App EngineではRDBMSのようなUnique Indexをサポートしていません。ユニーク制限を実現する場合は、トランザクション中でKeyを使ったgetとputを組み合わせる必要があります。 ここでは、email addressがユニークだったらそれを確定してtrueを返し、そうでない場合にはfalseを返すコードを考えます。 最初にトランザクションを使わないコードを見てみましょう。KeyFactory.createKeyの最初に引数は、kindといってテーブル名みたいなものです。 public boolean putUniqueEmailAddress(String value) { DatastoreService ds = DatastoreServiceFactory.getDatastoreService(); Key key = KeyFactory.cr
Google App Engineのtips集 - スティルハウスの書庫の書庫
（随時更新中です。間違いなどありましたらコメントをお願いします！） このページのtinyurl: http://tinyurl.com/gaetips Datastoreのtips Bigtableの内部構造 BigtableによるDatastoreの実装 Datastoreによるクエリの実装 トランザクションとエンティティグループ Datastoreのtips List Proprtyとmerge joinの使い方 GAE一般のtips GAEのサーバー構成とリクエストの流れ Task Queue APIの使い方 開発環境とプロダクション環境の違い Flex/AIR＋GAEのtips GAE/JにBlazeDSを組み込む BlazeDSの本番環境へのデプロイでハマる Datastore APIの取り扱いでハマる App Engine開発の便利な参考ページ TOPGATEさんのGoogle
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
GAE開発の落とし穴
IBM Developer
GitHub - mikeknapp/AppEngine-OAuth-Library: An OAuth library for interacting with Twitter, MySpace, LinkedIn and Yahoo on AppEngine
初心者向けGAE/Java説明資料
