HadoopやMongoDBのデータ消去被害が続出、世界各国で
「適切な認証なしにインターネットに直接露呈されているデータベースサービスは、データを盗まれたり、消去されたりする危険がある」とセキュリティ企業は警鐘を鳴らしている。 世界各国でHadoopやMongoDBなどのシステムがサイバー攻撃の標的にされ、身代金を要求されたり、データを消去されたりする被害が相次いでいるという。セキュリティ企業やメディア各社が伝えた。 セキュリティ企業Fidelis Cybersecurityの1月18日のブログによると、2017年に入ってMongoDBやElasticsearchのデータベースが攻撃を受け、データを人質に身代金を要求される被害が続出した。続いて、Hadoop Distributed File System（HDFS）インスタンスも同じような攻撃の標的にされ、システム上の全データが消去される被害が出ている。 Fidelisはその原因について、ビッグデー
Treasure Data から大量のデータを MongoDB にインポートする話 - スタディサプリ Product Team Blog
こんにちは。今年の6月に入社した Web Developer の田中です。 Quipper ではデータの収集に Treasure Data(以下 TD) を使っています。今回、収集したデータの一部(数千万件ほど!)を MongoDB にインポートする必要があったので、その時にやった事をまとめました。 tl;dr TD に数千万件あるデータを MongoDB にインポートする必要があった Ruby で愚直に書いたらリソースを使いきってサーバが落ちた Engineering チームと協力して、サーバ強化+別インスタンス化、コードの省メモリ化を行い、無事にインポートできた 概要 以下のような事をやりました。 まず、TD で必要なデータを出力する JOB をつくる Rake タスクで、以下を行う JOB ID を指定してデータをダウンロード ダウンロードしたデータを MongoDB に突っ込む つ
エンジニアの総意でMongoDBを採用――メール配信システム「Cuenote FC」11年の歩みを振り返る - はてなニュース
メール配信システム「Cuenote」シリーズを開発・提供するユミルリンクでは、独自のメール配信システムを開発した2002年以降、メール配信のノウハウを継続して蓄積してきた。メール配信システムに対する要求は時代と共に変化している。携帯電話のキャリアメールへの対応、多様なログ解析、そしてスマートフォン対応。メール配信システムの最新技術動向や、それを取り巻く環境の変化について、同社のエンジニアたちに聞いた。 （※この記事はユミルリンク株式会社によるPR記事です） メール配信システムはCuenote FC ■ メール配信の状況は大きく変わったユミルリンクのサービスが配信するメール総数は増え続け、一昨年の月間13億通から、2013年の現在では月間25億通に達している。顧客としても、クックパッド、カルチュア・コンビニエンス・クラブ（CCC）、楽天Edy、東急ホテルズ、サッポロビールなど有力企業が名前を
fluentd + mongodb+ node.js でリアルタイムにグラフを描く - stanaka's blog
追記 2/22 毎回微妙に追記していますが、今回も追記です。最後にmongodbのinsert性能について80lines/secで厳しくなった、と書いてますが、環境か設定まわりがあやしいので訂正します。もうすこし検証してみようと思います。 → 検証して fluentd側の設定の問題であることが分かりました。詳しくは、http://blog.stanaka.org/entry/2013/02/22/171053 追記ここまで 最近は、fluentd + mongodb でログを蓄積していろいろ便利に使っているわけですが、数分に一回集計スクリプトを周したり、 GrowthForecast の画面をリロードしまくるのではなく、もっとリアルタイムで見たい! という欲求が募ってきたので、 node.js を使って実装してみました。( https://github.com/stanaka/realti
Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
MongoDBとPostgreSQLをリアルタイムで同期させるツール「MoSQL」 | OSDN Magazine
オンライン決済システムを提供する米stripeが、MongoDBとPostgreSQLをリアルタイムで同期させるツール「MoSQL」を公開している。これを利用することで、リアルタイム性が必要な処理はMongoDBに行わせ、複雑なSQLクエリが必要な分析処理はSQLデータベースで行う、といった構成が可能になる。 MoSQLは「MongoDB→SQLストリーミングトランスレータ」をうたうツール。MongoDBクラスタに格納されているコンテンツをリアルタイムでPostgreSQLにインポートできるという。これにより、MongoDBでサービスを運用し、オフラインでのデータ解析やレポートはSQLを使って実行する、といった分業が行える。 MongoDBにはスキーマがないため、実行時にはMongoDBに格納されるデータをSQLで扱える行形式のデータに変換する定義ファイルが必要となる。定義ファイルはYAM
Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News