タグ

ビッグデータに関するwamanのブックマーク (10)

  • プレスリリース | 宇宙天気予報の精度を上げる技術の開発 | NICT-情報通信研究機構

    機械学習とビッグデータを用いた手法が、太陽フレアの予測にも有効であることを実証 いまだに解明されていない太陽フレアの発生メカニズムを解明する鍵が得られた 従来よりも早い予報が可能になり、宇宙天気の影響による災害の早期対策へ貢献 NICTは、電磁波研究所及び先進的音声翻訳研究開発推進センターにおいて、機械学習とビッグデータを用いた予測モデル開発により、宇宙天気予報の精度を格段に上げることに成功しました。 NICTでは宇宙天気予報を毎日配信していますが、予報精度の向上が長年の課題でした。今回、複数の機械学習の手法を太陽観測データ解析に応用することで、大量の情報処理による統計的な太陽フレアの予測を可能にしました。その結果、従来の人の手による5割程度の手法に比べると、8割を超える世界トップクラスの精度まで予測精度を上げることができました。また、太陽フレア発生前に現れる特徴を、統合的に機械学習による

    プレスリリース | 宇宙天気予報の精度を上げる技術の開発 | NICT-情報通信研究機構
    waman
    waman 2017/01/26
    『機械学習とビッグデータを用いた予測モデル開発により、宇宙天気予報の精度を格段に上げることに成功』『従来5割弱程度だった太陽フレアの予測精度から、8割を超える世界トップクラスの精度を達成』
  • Apache Flinkを用いたデータストリーミングアーキテクチャ

    Lily Maraと信頼性の高いKafkaデータ処理パイプラインを構築する 今日の回では、Thomas Betts氏がカリフォルニア州サンマテオにあるOneSignalのエンジニアリングマネージャー、Lily Mara氏に話を聞いた。 彼女は、OneSignalの他のエンジニアリングチームが使用する社内サービスを担当するインフラサービスチームを管理している。信頼性の高いKafkaデータ処理パイプラインの構築方法について議論する。OneSignalは、RustのKafka...

    Apache Flinkを用いたデータストリーミングアーキテクチャ
  • オープンデータ&公開データのまとめ - NAVER まとめ

    サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。

    オープンデータ&公開データのまとめ - NAVER まとめ
  • Mozilla creates web tools and practices for open science

    Abby Mayes is a lead developer for Mozilla Science Lab, which is a global network of researchers, tool developers, librarians, and publishers who work to further open science on the web. Abby has previously done work as a bioinformatics software developer, was a mentor on the Genome Informatics Group, and has won several awards for science and mathematics. In this interview with her prior to her t

    Mozilla creates web tools and practices for open science
  • ビッグデータと人工知能を理解する上で知っておくべきこと〜ドミニク・チェン | ライフハッカー・ジャパン

    予想されていた未来が、ようやく現実社会に訪れてきた ── まず、抑えておきたいポイントとして「ビッグデータ」「人工知能」が生まれてきた背景や技術の進化について教えてください。 ドミニク氏:はい、膨大な歴史と壮大なドラマを簡単にまとめるのは難しいのですが、あえて今日までの経緯をおおまかに説明してみましょう。まず第2次大戦中に計算可能な問題は何でも計算できるデジタル・コンピュータというものが現実化しました。そして1950年〜1960年代のころからすでに、コンピュータはいずれ人間の知能を超えるのではないかという議論が専門家やマスメディアで起こりました。 計算機による人間の支配というディストピア像は実は戦後から散見されます。 問題は常に人間側にあるのです。たとえば機械と人間をシステム論的にとらえるサイバネティクスという学問を興したウィーナーという人が50年代に出した『人間の人間的な利用』(Huma

    ビッグデータと人工知能を理解する上で知っておくべきこと〜ドミニク・チェン | ライフハッカー・ジャパン
  • ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について

    ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について The sad state of sysadmin in the age of containers コンテナー時代のシステム管理者の惨状 システム管理は惨劇に見舞われている。現状は悲惨だ。 筆者は昔気質のシステム管理者に不満はない。システムの稼働を維持し、アップデートし、アップグレードする方法を知っている者達だ。 この憤りは、コンテナーと構築済みVMと、それらがもたらす、「信頼」や「アップグレード」の欠如による悲惨な惨劇に対するものだ。 例えば、Hadoopを見てみろ。誰もHadoopをスクラッチからビルドする方法を知っているようには見えないぞ。依存性とバージョンとビルドツールが悲惨なほどに絡まりあっている。 この手のイケてるツールの中で、古典的なmake

  • 次の段階に進む--世界同時イベントで見えたオープンデータの可能性

    印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 2月21日に世界各地で同時に開催されたイベント「International Open Data Day 2015」に参加してきました。横浜市民である私は、大さん橋の横浜会場で1日を過ごしました。オープンデータに関する国内外の流れとともに、横浜での模様をご紹介します。 オープンデータを取り巻く世界と日の流れ オープンデータについての定義は、さまざまなところで紹介されていますが、日政府としての取り組みについてはこちらなどにまとまっています。 定義としては、以下でまとめられます。 誰でも自由にアクセス、入手ができるデータ(アクセスに対して制約がないデータ) 再利用と再配布が可能であるデータ 機械が判別可能であるデータ(マシンリーダブル)

    次の段階に進む--世界同時イベントで見えたオープンデータの可能性
    waman
    waman 2015/03/30
    『どこの国においても、行政システムの手続きの煩雑さなど…課題を技術力のある人たちがツールやシステムを開発することにより市民生活の利便性を上げていく取り組みが活発化しています。』
  • New Map Spotlights 'Mysterious Molecules' In Our Galaxy

    waman
    waman 2015/02/02
    『For the first time, we can see how these mysterious molecules are moving around the galaxy, … This is extremely useful and brings in new connections between these molecules and the dynamics of the Milky Way.』
  • 未だ健在。ビックデータ時代でも改良が進む磁気テープの存在感

    未だ健在。ビックデータ時代でも改良が進む磁気テープの存在感2014.12.24 21:00Mugendai ビックデータ時代を支えるのは、まさかの磁気テープ!? デジタルの時代になってから、その姿を身近で見なくなった磁気テープ。十数年前までは、生活の中で無くてはならないものでしたが、HDDやブルーレイディスクに役割を取られてしまいました。しかし、2010年代に入ってから、磁気テープに再度スポットが当たりつつあります。 磁気テープに熱視線を送っているのはアメリカの企業。実は磁気テープ自体の改良も続けられていて、IBMと富士フイルム株式会社が共同で開発を行った結果、現在ではLTOテープ・カートリッジに書籍にすると1億5,400万冊分ものデータを保存できるまでになってきているのだそうです。 磁気テープがなぜビッグデータの現場で重宝され、どのように改良されてきたのかの詳細を「無限大(mugenda

    未だ健在。ビックデータ時代でも改良が進む磁気テープの存在感
  • 2014年8月15日ニュース「細胞のビッグデータで代謝地図を作製」 | SciencePortal

    生物の細胞は複雑な小宇宙である。そこには多くの種類の生体物質が混在している。その細胞内のビッグデータから大規模な多階層ネットワークを自動的に再構築する方法を、東京大学大学院理学系研究科の柚木克之(ゆぎ かつゆき)助教と久保田浩行特任准教授(現・九州大学生体防御医学研究所教授)、黒田真也教授らが世界に先駆けて確立した。この方法を、インスリンの投与によって生じる経時的な変化に適用し、インスリンが作用する生体分子のネットワークの全貌を初めて明らかにした。 この方法を使えば、病気ごとに複雑な代謝制御のネットワークを突き止めることができ、大規模な代謝制御地図を作製できる。病気の診断に役立つバイオマーカーの探索や治療法の開発に使えそうだ。生物学や医学もビッグデータ時代に入ったことを宣言する成果として注目される。慶應義塾大学の曽我朋義教授、池田和貴特任助教、九州大学の中山敬一教授、松雅記准教授、大阪

    2014年8月15日ニュース「細胞のビッグデータで代謝地図を作製」 | SciencePortal
    waman
    waman 2014/08/15
    細胞のビッグデータで代謝地図を作製『病気ごとに複雑な代謝制御のネットワークを突き止めることができ、大規模な代謝制御地図を作製できる。』
  • 1