Treasure Data から大量のデータを MongoDB にインポートする話 - スタディサプリ Product Team Blog
こんにちは。今年の6月に入社した Web Developer の田中です。 Quipper ではデータの収集に Treasure Data(以下 TD) を使っています。今回、収集したデータの一部(数千万件ほど!)を MongoDB にインポートする必要があったので、その時にやった事をまとめました。 tl;dr TD に数千万件あるデータを MongoDB にインポートする必要があった Ruby で愚直に書いたらリソースを使いきってサーバが落ちた Engineering チームと協力して、サーバ強化+別インスタンス化、コードの省メモリ化を行い、無事にインポートできた 概要 以下のような事をやりました。 まず、TD で必要なデータを出力する JOB をつくる Rake タスクで、以下を行う JOB ID を指定してデータをダウンロード ダウンロードしたデータを MongoDB に突っ込む つ
【前編】トレジャーデータCTOと紐解く。日米で異なるCTOの役割とは？
Twitterでハッシュタグ「#naoya_sushi」が生まれてしまうほど、無類の寿司好きとして知られる伊藤直也氏（@naoya_ito）。そんな伊藤氏をホスト役とし、トップエンジニアをゲストに招いて、寿司をつまみつつホンネで語ってもらおうという、この企画。 第六回のゲストは、弱冠20歳にしてCTOとしてのキャリアをスタートさせ、現在はシリコンバレー発のベンチャー企業『トレジャーデータ株式会社』のCTOとして活躍中の太田一樹氏（＠kzk_mover）が登場！日米両方でCTOを務めた経験から、そのギャップや空気感、そしてシリコンバレーから世界を相手に勝負するため起業した真意などをお聞かせいただきました。日米を股にかけるkzk氏だからこその視点で、議論していただきます。お楽しみに！ — 伊藤直也（以下「naoya」）：久しぶりですね。日本に戻ってくるタイミングだとやっぱり飲み会続きですか？
“シリコンバレーの技術者集団”ではトレジャーデータを見誤る (1/5)
シリコンバレーの日本人ベンチャーとして注目度の高いトレジャーデータのCTOである太田一樹氏とのインタビューが実現した。CEO芳川裕誠氏の家のベランダと熱海の温泉で始まった会社の起業物語やサービスのポイントなどを聞いた1時間のインタビューをほぼ加工なしで掲載する。 Hadoopのポテンシャルを感じ始めたときに声をかけてもらった TECH.ASCII.jp 大谷（以下、TECH 大谷）：太田さんというと、Hadoopの人というイメージがありますが、そもそものバックグラウンドを教えてください。 トレジャーデータ 太田氏（以下、TD 太田）：はい。もともと私のバックグラウンドはHPC（High Performance Computing）のエリアで、19歳くらいからあまり学校にも行かず（笑）、プリファードインフラストラクチャという会社のCTOをやらせていただきました。あと、米オレゴンの国立研究所で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
