heyの統合データ基盤と今後の展望 - STORES Product Blog
はじめに はじめまして、4/1からデータチームでデータエンジニアとして働いている @shoso です。 突然ですが、みなさんデータ基盤って開発したことありますか？ 私はheyに来るまでなかったのですが、チームの経験あるメンバーと毎日話しながら（助けてもらいながら）開発する中でようやく少し分かって来たような気がします。 （覚えることが大量にあり大変とても楽しいです！） 今回は、データ基盤開発経験のある方はもちろん、普段サービス開発など他の開発をメインでされている方にも伝わる形で、heyの統合データ基盤と今後やっていきたいことについてご紹介できればと思います。 これまでにも、統合データ基盤のいくつかのトピックについて記事を公開していますが、この記事では統合データ基盤そのものについてより詳細が伝われば幸いです。 統合データ基盤ってなに 一言でいうと、社内に蓄積するあらゆるデータをスムーズ・横断的
[速報] MongoDB 互換のマネージドデータベース！Amazon DocumentDB が登場しました | DevelopersIO
こんにちは、菊池です。 個人的には待ちに待ったサービスです！AWSに新しいマネージドデータベースサービスである、Amazon DocumentDB（with MongoDB Compatibility）が登場しました。 New – Amazon DocumentDB (with MongoDB Compatibility): Fast, Scalable, and Highly Available Amazon DocumentDB Amazon DocumentDBは、MongoDBと同様にBSONフォーマット対応したドキュメント指向のデータベースです。 特徴 スケーラビリティ ストレージは最小10GBから、最大で64TBまで自動で拡張します。15.25 GBから488GBまでのメモリをもつインスタンスから選択可能で、最大で15台のリードレプリカ（合計16台）を構成できます。 信頼性 デ
![[速報] MongoDB 互換のマネージドデータベース！Amazon DocumentDB が登場しました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d5a93a3aed514cf8dda9cd4381b5a1e0117c53f6/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F01%2Famazon-document-db.jpeg)
Treasure Data から大量のデータを MongoDB にインポートする話 - スタディサプリ Product Team Blog
こんにちは。今年の6月に入社した Web Developer の田中です。 Quipper ではデータの収集に Treasure Data(以下 TD) を使っています。今回、収集したデータの一部(数千万件ほど!)を MongoDB にインポートする必要があったので、その時にやった事をまとめました。 tl;dr TD に数千万件あるデータを MongoDB にインポートする必要があった Ruby で愚直に書いたらリソースを使いきってサーバが落ちた Engineering チームと協力して、サーバ強化+別インスタンス化、コードの省メモリ化を行い、無事にインポートできた 概要 以下のような事をやりました。 まず、TD で必要なデータを出力する JOB をつくる Rake タスクで、以下を行う JOB ID を指定してデータをダウンロード ダウンロードしたデータを MongoDB に突っ込む つ
MongoMapperでER図っぽいものを生成するgemを作った
モデルの数がそれなりにあるプロジェクトに途中から参加すると、モデル同士の関連を把握するのに結構苦労するので、ER図の存在が重要になってくる。ActiveRecordならRails ERDというgemを使えばER図を生成してくれるのだが、MongoMapper用のツールは無さそうだったので作った。 こんな感じの画像を生成できる。 まだ One-To-Many だけで Many-To-Many や Embedded には対応していないのだけど、ひとまず全体を把握するのには役にたった。余裕があれば対応していきたい。Pull requestも待ってます！ dakatsuka/mongo_mapper_diagram - GitHub ちなみにグラフの生成には@merborne氏のGvizを使いました。Rubyから簡単にGraphvizが扱えて便利だった。 使い方# Gemfileに追加。
MacでMongoDBのインストールとデーモン化と、基本的な使い方 - DRYな備忘録
インストール まあbrew install mongodbですわ。 % brew search mongodb mongodb ok % brew install mongodb ==> Downloading https://downloads.sf.net/project/machomebrew/Bottles/mongodb-2.6.5.yosemite.bottle.2.tar.gz ######################################################################## 100.0% ==> Pouring mongodb-2.6.5.yosemite.bottle.2.tar.gz ==> Caveats To have launchd start mongodb at login: ln -sfv /usr/local/
Goodbye MongoDB, Hello PostgreSQL
Olery was founded almost 5 years ago. What started out as a single product (Olery Reputation) developed by a Ruby development agency grew into a set of different products and many different applications as the years passed. Today we have not only Reputation as a product but also Olery Feedback, the Hotel Review Data API, widgets that can be embedded on a website and more products/services in the n
MongoDBがHadoopとの統合強化。HiveでMongoDBデータへSQL問い合わせ可能、BSONをHDFS上に保存など
Integration of Hadoop and MongoDB, Big Data’s Two Most Popular Technologies, Gets Significant Upgrade | 10gen, the MongoDB company MongoDB Connector for Hadoopは、Hadoopへの入出力データとしてMongoDBを使えるようにするソフトウェアで、新バージョンでは主に以下の機能が追加されています。 Apache HiveからMongoDBのデータへSQLライクな問い合わせ インクリメンタルなMapReduceジョブのサポートによる、アドホックな分析を容易に実現 MongoDB BSONファイルをHadoop Distributed File System（HDFS）上に保存することで、データの移動を削減 これにより以下のようなメリットが
Happy Elements Labs: fluentdとMongoDBでユーザー行動を見える化
はじめに エンジニアの@ryooo321です。 よろしくお願いします。 今回は弊社で運用中の全アプリで利用している行動分析プラットフォームについてご紹介したいと思います。 2012年の6月に作ってから、約9ヶ月ほど運用しています。 特徴 ・手がかからないデータストア ・さまざまな問い合わせ対応で利用できる柔軟なクエリ ・機敏なMap/Reduceによる集計 ・集計結果をCSVやグラフで可視化 目的 ・ユーザーの問い合わせに効率的に対応し、アプリの企画・開発に集中するため ・ユーザーの行動を抽象化・可視化することでPDCAの質を向上させるため 行動ログのフロー 1. ユーザーからRuby on Rails製のソーシャルゲームにリクエスト 2. Railsからローカルのfluentdにログ出力(fluent-logger-ruby) 3. ローカルのfluentd
MongoDB Monitoring: Keep in it RAM - Server Density Blog
By David Mytton, CEO & Founder of Server Density. Published on the 13th December, 2010. There are a number of built in tools and commands which can be used to get important information from MongoDB but because it is relatively new, it can be difficult to know what you need to be doing from an operational perspective to ensure that everything runs smoothly. This is the 1st in a series of 6 posts ab
223Soft -
Document Data Structure in MongoDB Express MongoDB lets you easily store structured and unstructured data in a flexible and dynamic database schema. It supports CRUD operations on complex data objects using JSON as the main data type. Its an open source solution so it may not be as robust or well supported as commercial management tools. However it is easy to deploy and works well for most use cas
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
Indexes - MongoDB Manual v7.0
みんな大好きMongoDB
What is MongoDB Atlas? — MongoDB Atlas
MongoDB on AWSクラウドという選択
Amazon.com: Document Design for Mongodb: Mcanally, Jeremy: Books
Amazon.com: :
MongoDB as Search Engine Repository @ MongoTokyo2011
http://atnd.org/events/17136
File: README — Documentation for mongoid/mongoid (master)