タグ

bigdataに関するmohriのブックマーク (2)

  • Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita

    「BigQueryは120億行を5秒でフルスキャン可能」は当か? 先日、kaheiさんがGoogle BigQuery(Googleクラウドの大規模クエリサービス)について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。(Fluentd Meetupでの)プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる(これ、記憶がちょっとあいまい。もう少しかかったかも)。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent

    Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
    mohri
    mohri 2014/05/20
    発想の転換すぎる。インデックスなんかいらんかったんや!
  • 「日本のIT、完敗の恐れも」 ヤフー、「パーソナルデータ」活用規制に危機感

    「日ITが完敗してしまう恐れもある」――ヤフーは1月21日、政府の「パーソナルデータに関する検討会」事務局が示している、パーソナルデータ(個人に関する情報)に関する制度の見直し方針について、異議を唱える記者説明会を開いた。データ利活用の過剰な規制はビッグデータ関連ビジネスの足かせとなり、日IT産業を衰退させる恐れがあると警戒している。 パーソナルデータに関する検討会(座長・堀部政男一橋大学名誉教授)は、政府のIT総合戦略部傘下に昨年9月に設置された。ビッグデータを活用した新ビジネス・サービスが勃興する中、プライバシーの保護などに配慮したパーソナルデータ利活用のルールのあり方を検討したり、監督・紛争処理機能を備えた第三者機関の設置を含む制度の見直し、関連の法改正などについて議論。議事録はWebサイトで公開され、制度の見直し案(事務局案)の概要もPDFで公開されている。 この見直し案

    「日本のIT、完敗の恐れも」 ヤフー、「パーソナルデータ」活用規制に危機感
  • 1