MongoDB のデータを BigQuery にインポートするための mongobq - Qiita
mongobq とは MongoDB の特定のコレクションのデータを BigQuery のテーブルとしてインポートするためのコマンドラインツールです。 想定している使用方法 fluent-plugin-bigqueryなどでBigQueryにログやトランザクション系のデータが登録済みである ログ中には商品IDなどは入っているが、商品の値段などの詳細データはMongoDBで管理されている 両者を JOIN して分析するために、MongoDB 上のマスタデータを BigQuery に日次バッチなどでインポートしたい インストール方法 npm パッケージとして公開しているので、Node 0.10 以上が必要です。 ソースはgithub上で公開しています。ご意見、機能追加要望などありましたら、こちらまで。 なお、mongobq を利用するには Google Cloud Platform の利用登録
Query Mongo: MySQL to MongoDB Query Translator
Mongo and MongoDB are registered trademarks of MongoDB, Inc. This site is for educational and demonstration purposes (and because we think MongoDB is pretty cool). More helpful tools for working with data: Getting Your Data into Redshift, Postgres, BigQuery, Snowflake, or Panoply | Customer Lifetime Value | Churn Rate | Cohort Analysis | SQL Join | Columnar Database | ETL Database | The Sta
AWS + MongoDBな環境のバックアップスクリプト(Python) – OpenGroove
しばらく前にMongoDBのバックアップスクリプトのサンプルを探してみたが、mongodumpの例が多かったみたいだな。シングル構成のmongoでmongodumpをシェルで実行とか。こういっちゃ何だけど、それで済むならググらない。 レプリカセットのセカンダリで取得、かつ環境はAmazon EC2だからスナップショット取得するのがいい、という条件が重なると結局自作か。で、Pythonで書いてみたのが以下。本来は切り詰めてもっとスマートにするべきなのだが、ここではベタにやることそのまま書いている。でないと、書いた本人も忘れるから。 追記 AWSの認証情報は、/etc/boto.cfgに記載している前提です（過去記事参照）。 mongo_backup_ec2.py #!/usr/bin/env python # -*- coding: utf-8 -*- from pymongo import
connect-mongo
connect-mongo MongoDB session store for Connect and Express written in Typescript. Breaking change in V4 and rewritten the whole project using Typescript. Please checkout the migration guide and changelog for details. Install Compatibility Usage Express or Connect integration Connection to MongoDB Known issues Native autoRemove causing error on close MongoError exports circular dependency Existing
当社の時系列グラフを支える技術 – 一日に20億、月に30TBに及ぶドキュメント
Server Density(サーバーデンシティ)社は月に30TBに及ぶサーバからの受信データポイントを処理し、単純なLinuxシステムのロードアベレージから18カ国からのウェブサイトレスポンスタイムまで多岐にわたる顧客データ監視しています。これらすべてのデータはMongoDBにリアルタイムに入力され、顧客がグラフを閲覧したり、ダッシュボードのアップデートやレポート作成時に出力されます。 当社では MongoDBを2009年半ばから使用しており これまでデータベースのスケーリングに関して多くのことを学んできました。当社は複数のMongoDBクラスタを使用していますが、本記事ではこれまでの履歴データを保存しているクラスタに注目し、当社がどのようなスケーリングを行なったかを解説致します。 1. 専用ハードウェア及びSSDの使用 当社のMongoDBインスタンスはすべてソフトレイヤー社の２つのデ
Mongoose ODM v8.1.3
Let's face it, writing MongoDB validation, casting and business logic boilerplate is a drag. That's why we wrote Mongoose. const mongoose = require('mongoose'); mongoose.connect('mongodb://127.0.0.1:27017/test'); const Cat = mongoose.model('Cat', { name: String }); const kitty = new Cat({ name: 'Zildjian' }); kitty.save().then(() => console.log('meow')); Mongoose provides a straight-forward, schem
ムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
Mongo dbを知ろう
5. mongoDBの背景 • 2009年よりMongoDB社（元10gen）が提供。 • 累計調達資金2億3100万ドル。 • mongoDBのダウンロード数は500万回に達する。 • mongoDB技術者の求人数はredisやCassandraを抜いて トップを君臨。 • キーワードの検索数はHTML5に次ぐ2番目に多い。 ※一部情報はTechCrunchから引用 © CROOZ,Inc 5 6. MongoDBの特徴 • ドキュメンド指向 – レコードではなく、JSONオブジェクトが格納される。 • スキーマフリー – 動的なスキーマ、リレーションの概念なし。 • Memory-Mapped File – メモリ上で動作する前提の設計で高いパフォーマンスを叩き出す。 • レプリケーション、シャーディング構成 – クラスタ構成により、自動的なフェイルオーバー、シャーディングを 実現。
MongoDBが適さないケース - 中年engineerの独り言 - crumbjp
> 原文(Why MongoDB is a bad choice for storing our scraped data) 私自身はMongoDBを推進する立場なのだが、確かにMongoDBに適さないケースはある。 闇雲に推進しても結局は全員がアンハッピーになるので、この様なネタもどんどん紹介していこうと思う。 この記事はMongoDBを徹底的に使い尽くしたエンジニアが書いている様で状況が良く解った。 ちょっと難しい所もあるので要点を意訳して、軽く解説を書いてみる。 （もちろん是非原文で読むのをお勧めする） 状況 最初はMongoDBでうまく動いていたが、だんだん苦労が増えてきて 元々のアーキテクチャを刷新するタイミングでMongoDBから別のプロダクトに乗り換える事にした。 システムの規模 詳しく書かれていないが、１ノード辺り数TBとあるのでSharding環境ではないかと思われる。
Things I wish I knew about MongoDB a year ago
I’ve used MongoDB for over a year at scale at both Heyzap and Bugsnag and I’ve found it to be a very capable database. As with all databases, there are some gotchas, and here is a summary of the things I wish someone had told me earlier. Selective counts are slow even if indexed For example, when paginating a users feed of activity, you might see something like, In MongoDB this count can take orde
Shardingの紹介 - Docs-Japanese - 10gen Confluence
MongoDBは、システムの一部としてauto-sharding機能を含みます。 このドキュメントはshardingのアーキテクチャの概要と使い方を示します。 alphaリリースでの制限はShardingの制限を参照してください。 MongoDBクラスターは、 複数の shards ( mongod インスタンス) 、 mongos ルーティングプロセス、1つ以上の configサーバ 、 クライアント で構成されます。 shard それぞれのshardは1つ以上のサーバで構成され、mongodプロセス (mongodはMongoDBのデータベースプロセスのコアです) を使いデータを保存します。 典型的なケースでは、可用性を高めるため、1つのshardに対し複数のサーバを使います。 この複数のサーバ/mongodプロセスのセットは、 replica set から成ります。 Note:
Sharding - Docs-Japanese - 10gen Confluence
Based on v39(2010/12/18 更新) - オリジナル MongoDBは、auto-shardingアーキテクチャーを通じてスケールアウトができるようにデザインされています。 shardingは以下の機能を提供します： 負荷やデータの分布の変化に伴って自動バランシングを行います 新しいマシン追加が容易にできます 1000ノード以上でのスケールアウトが可能です 単一障害点がありません 自動フェイルオーバー機能を備えています ドキュメント 1. Shardingの紹介 ここでは、MongoDBのauto-shardingについて、考え方や、ユースケース、コアコンポーネントについて紹介します。 2. 設定 shardingクラスタの設定と管理について 設定 管理 フェイルオーバー 3. Sharding Internals Auto-Sharding の実装についての詳細
MongoDBにおける関連（Relation）のスキーマ設計 - masa_wの日記
前回、MongoDBでSNSつくるぞという記事を書いてから随分時間がたってしまいました。単に私がだらけていたということもあるのですが、一番ひっかかって時間を取られていたのが、MongoDBにおけるスキーマ設計の考え方です。 いまだに試行錯誤中ではありますが、現時点において私がこうあるべきと理解しているところをアウトプットしてみたいと思います。 １．One to Many のケース たとえば注文と注文明細のケースを考えてみます。RDBで1対多のリレーションを設計する場合、 というように、注文明細を別テーブルにするのが普通かと思います。しかし、ドキュメント指向のMongoDBにおいては、RDBと違ってオブジェクト内に柔軟なデータ構造を実現できるため、 というように一つのCollection内にデータを埋め込んでしまうのが、パフォーマンスの点からも良しとされています。 ただし、以下の2点について
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MongoDBでゆるふわDB体験 記事一覧 | gihyo.jp
Loading...
月間10億pvを支えるmongo db
DB tech showcase： 噂のMongoDBその用途は？
MongoDB Courses and Trainings | MongoDB University
後悔しないもんごもんごの使い方 〜サーバ編〜
AmebaのMongoDB活用事例
