巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま
なぜ Teng は良いものなのか - tokuhirom's blog
なぜ Teng は良いものなのか､を YAPC で再考させられたのでここにメモしておく｡ Teng は自社開発のウェブアプリケーションを作ってる人たちが作っていて､それがうちのニーズにあってるのでいいっていう話であって､どこでもすごい最高!! と主張したいわけではないです｡まあ､個人の感想ですね｡ ソースが読みやすい ソースがよくモジュール化されていて､読みやすい｡自身で書いている部分が多いという贔屓目を抜きにしても読みやすいんじゃないかなーと｡ 僕らのような自社開発のウェブ屋では､なにか無茶な要望を受けた時にささっと対応するということが求められるシーンが多いので､ソースの読みやすさというのはかなり重要なファクターとなっています｡ 複雑な SQL を発行できないように機能が制限されている SQL ビルダーを使って JOIN やサブクエリを駆使したウェブアプリケーションを開発してしまうと､運
Apache Drill ではクエリ処理はこんな風に行われる（Hadoop アドベントカレンダー 2013 16日目） - nagix
この記事は Hadoop アドベントカレンダー 2013の16日目の記事です。 Apache Drill 概要 Apache Drill は Google Dremel に触発されて開発されたオープンソースプロジェクトで、2012年8月に Apache Incubator として提案されました。大規模データに対し、バッチ処理ではなく、インタラクティブなクエリの実行を可能にするという意味では、ImpalaやStinger、Presto といったプロジェクトと同様の大きな目的を持っていますが、SQL 2003 完全準拠、パーサや処理実行部分を Pluggable にして幅広いクエリ言語やデータソースに対応、JSON/Avro のようなネストデータに対応、スキーマはオプショナルでスキーマレスなデータに対応、といったところなど、より柔軟で拡張性の高いフレームワークを目指しているのが他のプロジェクト
SQLiteをインメモリで使う
cles::blog 平常心是道 blogs: cles::blog NP_cles() « Windows XP で自動ログオンを有効にする方法 :: そろそろ確定申告の準備をしないと » 2010/01/18 SQLiteをインメモリで使う ruby sqlite 99 0へぇ SQLiteはデータのちょっとした加工や管理に便利なので、最近よく使っているのですが、ファイルの指定を:memory:とすると、インメモリで使うことができるという機能をみつけたので、Rubyからちょっと使ってみました。 In-Memory Databases For example: rc = sqlite3_open(":memory:", &db); When this is done, no disk file is opened. Instead, a new database is created
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
転送中
