TechCrunch | Startup and Technology NewsTexas will require electric vehicle charging companies to include Tesla’s North American Charging Standard (NACS) and the Combined Charging System (CCS) standard in order to qualify for a state
MongoDBがHadoopとの統合強化。HiveでMongoDBデータへSQL問い合わせ可能、BSONをHDFS上に保存など
Integration of Hadoop and MongoDB, Big Data’s Two Most Popular Technologies, Gets Significant Upgrade | 10gen, the MongoDB company MongoDB Connector for Hadoopは、Hadoopへの入出力データとしてMongoDBを使えるようにするソフトウェアで、新バージョンでは主に以下の機能が追加されています。 Apache HiveからMongoDBのデータへSQLライクな問い合わせ インクリメンタルなMapReduceジョブのサポートによる、アドホックな分析を容易に実現 MongoDB BSONファイルをHadoop Distributed File System（HDFS）上に保存することで、データの移動を削減 これにより以下のようなメリットが
MongoDB 2.4 の性能 徹底評価（レコード長による評価） - 中年engineerの独り言 - crumbjp
前回のMongoDB 2.4 の性能 徹底評価の反響が大きかったので続編。 今回の調査対象 ドキュメントサイズ毎の性能を評価する。 今回の検証用にベンチを書いた。 性能見積りにも使えると思うので、紹介しておきます。 MongoDB-JP/mongo_bench 今回の検証も、Sakura VPS 2G で行った。 専用環境ではないので、ある程度まわりの影響を受けている。（何度もベンチを取って極力排除はしたが、、） また、記事に載せた以外にも色々と検証しており、その結果も少し混ざっていたり。。 オンメモリデータの処理が高速な事は解っているので 今回の検証の肝は『ディスクアクセス』 MongoDBはメモリ以上のデータを扱う為のプロダクトなのでなるべく性能が出ない様な条件＝ワーストケースを狙った。 2GBメモリに対して40GBのデータを扱い、データ全体を万遍なく使うようなクエリーを発行する。 評
MongoDBの集計機能が便利過ぎて泣けてくるお話し - Y's note
MongoDBイン・アクション 作者: Kyle Banker,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2012/12/14メディア: 大型本購入: 5人 クリック: 55回この商品を含むブログ (4件) を見る MongoDB集計機能 CentOSでNginxのログをFluentdを使ってMongodbにリアルタイムで格納する - Yuta.Kikuchiの日記 時給3000円のCEOと揶揄されている@yutakikucです。今日は簡単にMongodbのログ集計機能を紹介します。機能が豊富過ぎて泣けてくるんで、ログ解析する人は是非使ってみて下さい。FluentdでMongodbにNginxのLogを流し込む設定は上のエントリーを参照して下さい。次回はAggregationFramework/MapReduce周りについて触れたいと思います。 泣ける話 : 集
第10回 MongoDBでの集計処理 | gihyo.jp
MongoDBでの集計処理の概要 一般的なNoSQLプロダクトは、RDBのSQLでいうGroup By句やSum関数などの集計機能がありません。集計を実施するには、アプリケーション側で独自にコードを書くことになります。 しかし、MongoDBは、NoSQLのパフォーマンスを維持しながら、RDBライクな機能を実装することを開発方針として掲げており、集計機能に関してもいち早く実装してきました。MongoDBで集計処理を行う方法は3つあります。 1. Aggregationフレームワーク SQLでいうGroup By句やSum関数を提供します。Mongo Shellからクエリと同じように実施できます。一部の処理（$groupと$sort）はシャーディングに対応しており、各シャードで処理します。 2. MongoDBのMap/Reduce機能 Map関数/Reduce関数を独自に定義し、集計処理を
第2回 MongoDB 2.2の新機能 | gihyo.jp
今回は、MongoDB v2.2リリースノートをもとにv2.2で追加/改善された機能を紹介します。機能についてより詳しく知りたい方は第3回丸の内勉強会の資料を参照ください。コマンドレベルでの手順や、一部機能の検証が載っています。 新機能ダイジェスト 1．並列処理の強化（Concurrency Improvements） ロックの粒度がGlobalロックからDBロックになりました。 PageFaultアーキテクチャが改善されロック時間が減りました。 2．Aggregation Framework 集計処理がコマンドで可能になりました。 3．Replica SetsのReadノード選択 一貫性レベルに応じて、どのノードからデータをReadするかを選択可能になりました。 4．Tagを使用したSharding（Improved Data Center Awareness） データ保存先のShard
WebベースのMongoDB管理インタフェース·mViewer MOONGIFT
mViewerはWebベースのシンプルなMongoDB管理インタフェースです。 最近はNoSQLを運用の一部に使うことが増えてきました。そうなると必要になるのが管理ツールです。すぐに使えて手軽なものが良ければmViewerを使ってみましょう。起動コマンドも用意されていて簡単です。 トップページです。ログインします。 ログインしました。左側にデータベースが並んでいます。 データベースを選択するとコレクションが表示されます。 コレクションはツリーテーブルで表示もできます。 サーバの状況表示。 データベースの状況表示。 ツリーを開いてさらに内部の値を確認できます。 Flashベースの利用状況モニタリング。 新しいデータベースの作成もできます。 コンテクストメニュー。 デモ動画です。 mViewerはデータベースの作成や削除、コレクションの作成、更新と削除、GridFSファイルの追加、表示、ダウン
MongoDBをext3で使ったら死んだ · DQNEO日記
Linux File Systems MongoDB uses large files for storing data, and preallocates these. These filesystems seem to work well: ext4 ( kernel version >= 2.6.23 ) xfs ( kernel version >= 2.6.25 ) In addition to the file systems above you might also want to (explicitly) disable file/directory modification times by using these mount options: noatime (also enables nodiratime) We have found ext3 to be very
MongoDBを試してみよう
MongoDBは、SQLデータベースに近いNoSQLです。ドキュメントデータベース、キー・バリュー型データストア（key-valueストア）、リレーショナルデータベース（RDB）の良いとこ取りを目指しています。使い勝手もRDBに近いといえます。 MongoDBのデータベース構造 MongoDBは、データベース、コレクション、ドキュメントという階層構造になっています（図1）。コレクションはRDBでは、テーブルに相当するものです。 RDBと違い、MongoDBではスキーマが不要です。RDBではテーブルの各行（レコード）が、どのようなデータをどの順に持っているかを最初に定義する必要があります。また、各レコードはスキーマで定義された共通の構造を持っています。 ところが、MongoDBのコレクションはスキーマレスであり、レコードに相当するドキュメントというデータを保持していますが、一つひとつのドキュ
R meets MongoDB - 元データ分析の会社で働いていた人の四方山話
最近、割と大きめなデータをRで扱う際に、どのようなソリューションがいいか色々と考えています。 ここでのソリューションは並列計算云々という観点ではなく、大きめのデータから必要なデータをさっくりと用意して、解析フェーズに簡単に入っていくために、という観点です。 1つは有名すぎるbigmemoryというソリューションがあって、これは今後浸透していくんだろうなぁとは思いつつ、bigmemoryではデータ型がbig.matrixという特殊なものになってしまうので、既存のMatrixやdata.frameを使ったパッケージの関数が使えなくなってしまう*1という点が微妙だなぁと思っています。 そんな時に、Twitterのtimellineを眺めていたら、MongoDBのR driverができたとかいうtweetを見かけました。 MongoDBはかなり柔軟に色々できますし、何より今アツいトピックの１つです
MongoDBの信頼性に疑問
原文(投稿日：2011/11/07)へのリンク 最近、MongoDB に関して非常に好ましくない内容のかなり話題になった市場報告が２つあった。批判の大部分は、パフォーマンス問題とデータ損失の組合せに集中している。この話を続ける前に、これらは公式の事例研究でないことを肝に命じて欲しい。そうではなくて、最近 MongoDBを使った開発チームによる市場報告である。 まず Urban Airshipの Michael Schurter氏のレポートから始める。 Urban Airshipは既に、MongoDBの問題を経験しており、このレポートを書く前にデータのほとんどを PostgreSQLに移行を済ませていた。残ったデータはMongoDBにとって理想的のようだ。 短命－もしそれを失っても、短い間サービス低下を経験するが、 壊滅的ではない 小さい－容易にメモリーに収まる(~15 GB) 二次索引－キ
WebSocket + Node.js + MongoDBでプレゼンアプリ + リアルタイム付箋共有アプリを作ってみた。 - from scratch
せっかく東京Node学園祭2011に出たり、 Google Developer Day 2011 に出たりしているので、 何かアプリを作ろうと思って作ってみました。 http://yosuketest.node-ninja.com/ nodefestでアカウントをもらったNodeNinja上で動いています。 WebSocketが動くのはいい感じだね。 よくGoogle Developer Days でも NodeFestでもHTMLでプレゼンをしていたので、自分もやってみようと思い 実施してみました。 プレゼンするときに聴衆の方々がその場で疑問に思ったことやコメントを付箋にして直接資料に反映する事ができます。 ダブルクリックで付箋を貼り、コメントを書けば反映されます。 本当はクローズドな場所でプレゼンしながらツッコミを入れるとみんなにも見えていいかなと。 それにしてもNodeNinjaに配
MongoDB 2.0 Should Have Been 1.0 | Luigi Montanez
No open source project has received more criticism in recent years than MongoDB. Most of the flak has revolved around technical implementation decisions made for the project, and perceptions of how the company behind MongoDB, 10gen, has used advantages gained from those design decisions in marketing their product. It seems that more blog posts have been written on why one should not use MongoDB th
第21回 MongoDB最前線！実戦投入の光と影と開発ノウハウ | gihyo.jp
データストアの新たなカタチとしてNoSQLがブームになっていますが、その中で異彩を放っているのがドキュメント指向データベースである「MongoDB」です。サイバーエージェントでは、このMongoDBを比較的早い段階から実サービスで活用しています。そこで今回はMongoDBの使いどころや利用時の注意点について、サイバーエージェントの3人の技術者にお話を伺いました。 分散処理のしくみを最初から備えるMongoDB リレーショナルデータベース（以下RDB）ほど煩雑ではなく、分散KVS（Key-Value Store）ほどシンプル過ぎない第三のデータストアの1つとして、ドキュメント指向型データベースである「MongoDB」が挙げられます。GNU AGPLv3を採用したオープンソースソフトウェアであり、パフォーマンスが高くスケーラビリティにも優れているという特徴があります。また、JSON（JavaS
Scala + MongoDB + Herokuで2chクローンを作る（連載第１回）
人生で3回2chクローン掲示板システムをプログラムし、運用したことがある。 まずはじめは、C++。boostを使ってテンプレート満載な構成だった。VC6でコンパイルできないパターンがあって泣いたっけ。コンパイルの「遅さ」にほくそ笑んでた。あの頃は若かった。 そのコードを使って東京工業大学掲示板というWeb掲示板システムを運用していた。C++では機動的な新機能開発が難しいことを、すぐに思い知った。当時使ったことがなかったPHPで試しにリライトしてみた。数時間で開発できちゃった。すぐリプレイスしちゃうよね。 ニコニコ大百科というWikiシステムを書いたときにも、付随する2ch式の掲示板システムを書いた。Rubyだった。Rubyで実用的なWebアプリケーションを書いたことがなかったが、これも難なく実装することができた。UTF-8を採用したので、トリップの互換性を取るのが面倒だった。 Python
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MongoDB: Intro & Application for Big Data
MongoDB: Case Study for AMN
Good night, Posterous
fluent + mongodb + node.js でwebアクセスの準リアルタイム解析 | Day After Neet
ソーシャルゲームログ解析基盤のMongoDB活用事例
