Databricksで築く未来のデータメッシュ組織/The Datamesh Organization Built with DatabricksDatabricksで築く未来のデータメッシュ組織/The Datamesh Organization Built with Databricks
高効率なSQLクエリの書き方 - Qiita
概要 この記事では、SQLクエリをより効率的に記述するためのベストプラクティスとテクニックに焦点を当てています。データベースのクエリはシステム全体のパフォーマンスに直結するため、最適な書き方を知ることは重要です。インデックスの効果的な活用方法、適切な結合の選択、そして条件の効果的な書き方など、SQLの最適化に関する具体的な手法を解説します。各SQL文に関する実行計画の結果も掲載していますので、ぜひご確認ください。 なお、Oracle19cとOracle12cでの利用実績がありますが、他のデータベースやバージョンにおいての検証は行っておりません。 新しい情報は随時追加されますので、お楽しみにしてください。 SQLの最適化に関連する基本的なアイデア 以下の通りと考えています。 1.インデックスの利用 2.正しいJOINの選択 INNER JOIN、LEFT JOIN、RIGHT JOINなど、
ビッグデータのリアルタイム分析基盤「Jubatus」を活用し、センサデータ機..（Briscola Inc. プレスリリース）
ビッグデータのリアルタイム分析基盤「Jubatus」を活用し、センサデータ機械学習検証システムを構築 プレスリリース発表元企業：Briscola Inc. 配信日時: 2014-02-12 13:30:00 （東京）- （ビジネスワイヤ） -- 住友精密工業株式会社（本社：兵庫県尼崎市、社長：三木伸一、以下、住友精密）は、クラウドコンピューティング専門の事業企画・開発会社である株式会社ブリスコラ（本社：東京都港区、代表取締役社長：下川部知洋、以下、ブリスコラ）とともに、ビッグデータのリアルタイム分析基盤「Jubatus」を活用したセンサデータ機械学習検証システムを構築しました。 構築にあたっては、「Jubatus」の開発元であり、検索・データ解析技術の先端的企業の株式会社 Preferred Infrastructure(本社：東京都文京区、代表取締役：西川徹、以下、PFI)と緊密な連携の
会議室でバスケット分析！トレジャーデータが新サービス
12月9日、クラウド型のビッグデータサービスを手がけるトレジャーデータは、ビジネスのアップデートのほか、新サービス・新価格プランについて説明する発表会を開催した。アドホックデータ解析向けの新エンジンが投入されたほか、初めて可視化ツールが標準で提供される。 1兆件から2兆件までは2ヶ月で達成 発表会では、米トレジャーデータ CTOの太田一樹氏が会社とサービスの紹介を行なった。ビッグデータの収集・保存・解析を一手に行なえる「Treasure Data Service」を提供するトレジャーデータは、2011年12月に米国で創業されたベンチャー。「他社と異なって、数日で開始できるのがもっとも大きい」と太田氏が語るとおり、「すぐに使い始められる」「クラウドサービスとして提供」「シンプルな機能セット、手厚いサポート」といったオールインワンのコンセプトを持っている。 同社が設立されてちょうど2年が経った
データ・サイエンスのプログラミング言語はRからPythonに置き換わる | readwrite.jp
これまでデータ・サイエンティストの選ぶプログラミング言語はRだったのだが、急激にPythonに置き換わろうとしている。 このシフトの理由はいくつかあるようだが、第一にはPython自体が汎用的で比較的学びやすい言語であるのに対し、Rが習得するにあたってやや複雑であることがあげられるだろう。 データにますます依存しつつある現代社会とデータに飢えたサイエンティストにとっては「簡単さ」こそが鍵となるのだ。 Rは実際にはプログラミング言語ではないRを覚えることに苦労する人が多い理由として考えられるのは、Rが実際にはプログラミング言語ではないからかもしれない。R専門家のジョン・クックいわく、Rとは「統計のためのインタラクティブな環境」であり、厳密にはプログラミング言語ではないのだ。彼はさらに「Rをプログラミング言語だと考るのではなく、Rがプログラミング言語を内包しているのだと考えた方が良いと分かった
統計学ブーム - プログラマの思索
日経情報ストラテジー2013年12月号に「統計学が最強の学問である」著者特別インタビューがあったのでメモ。 「統計学が最強の学問である」の本は立ち読み程度しか読んでいないけれど、記事は面白かった。 最近のバズワード「ビッグデータ」「データサイエンティスト」が気になっていたから。 記事で気になった点は２つ。 一つは、最近のコンピュータ能力の向上のおかげで、プログラマのレベルの人でも統計学という理論を背景に、手持ちの大量データを解析する環境が揃ってきたこと。 １０年以上前まで、Excelでグラフ化したり、Excelで財務分析したりするぐらいだった。 でも、今は、業務システムで貯められた大量のトランザクションデータを元に、回帰分析など統計学の手法を使って色んな観点で分析できる。 その時、ビジネス系のエンジニアならば、RDBに関するSQLは必須。 さらに、最近のビッグデータというバズワードを背景と
ドコモからのお知らせ : モバイル空間統計の実用化および携帯電話ネットワークの運用データ利用について | お知らせ | NTTドコモ
お客様の設定により、お客様情報が「非表示」となっております。お客様情報を表示するにはdアカウントでログインしてください。 お客様情報表示についてへ お客様情報表示についてへ 平素はNTTドコモのサービス・商品をご利用いただき、誠にありがとうございます。 NTTドコモ（以下ドコモ）は、携帯電話ネットワークの仕組みを利用して作成される人口統計情報である「モバイル空間統計」の有用性の検証を、防災計画やまちづくりなどの公共分野において進めてまいりましたが、2013年10月1日より、学術分野・産業分野においても活用すべく「モバイル空間統計」の実用化を開始します。また、この実用化に伴い、「モバイル空間統計」で得られた人口統計情報を、ドコモのグループ会社である株式会社ドコモ・インサイトマーケティングを通じたリサーチ事業として、自治体、学術機関、企業などからの各種調査依頼などにもとづいて提供いたします。
ビックデータ可視化BIソフトTableau（タブロー）x AWS(Redshift & EMR)勉強会
この勉強会の概要 一昨年前からビッグデータという言葉が注目されており、テレビなど一般層むけのメディアでも頻繁に紹介されています。しかし、実際のところデータ分析をどう行えば良いのか？ それにはどういう製品が必要なのか？ その製品は高価ではないのか？ などの疑問や課題をお持ちの方も多いのではないでしょうか。 それらの疑問や課題の解決に Tableau（タブロー） と AWS(Redshift & EMR)はいかがでしょうか。 Tableau は標準で様々なビューを用意しており、お客様の「データをこうやって見たい」といったニーズに応えます。 Redshift これまでのデータウェアハウス製品に比べて驚くほど安価であり、マネージドサービスとして提供されています。 これらのトピックはすでに注目されているものの、実際に使ってみたという事例を目にする機会はあまり多くありません。 そこで今回、Tablea
NTTデータがスマホの私用・業務モード自動切り替え技術開発しBYOD導入、アプリ無償配信も
NTTデータは2013年4月15日、スマートフォンやタブレットの「自動モード切り替え技術」を開発したと発表した。場所や時間、ログインしたユーザーなどによって業務モードと私用モードを自動的に切り替える。同日、GooglePlayで同技術を実装したAndroidアプリの無料配信を開始した。また2013年4月よりNTTデータ社内でBYOD（私物デバイス活用）を導入することを明らかにした。 「自動モード切り替え技術」は、スマートデバイスの物理的な位置（GPS情報や検知した接続している無線LAN）、時間帯、ログインしたユーザー、社内ネットワークなど指定したネットワークとの接続の有無によって、業務モードや私用モードなどを自動切り替えする技術。モードにより、ホーム画面を自動的に切り替え、カメラや無線LANなどのデバイスやアプリケーションの利用を許可したり禁止したりすることができる。 ユーザー認証機能も備
MBAとはどういう教育なのか – 愛の日記
今日はアメリカのMBA（経営学修士）に関するお話をしてみたい。 MBAを取得すると年収が上がりやすいのもあって、生活費含めて二千万円ぐらいかかるくせにアメリカではMBAは人気の学位である。でも、日本からの合格者は少ないので、実態がわかりにくく、なんかお高くとまっているイメージがあるので批判の的になりやすい。「MBAは時代遅れ」とか「自己啓発セミナーみたいなもんだ」とか「MBA卒を採用したけどあいつら使えない」と批判をすると頭よさそうでオシャレでクールな感じだ。しかし、こういった話はほとんどがMBAを持っていない人の想像に過ぎず、実際はどういうものなのかわかりにくい。 結局、MBAとは何をする場なのか。今日はそんなMBAの実態について卒業生のおじさんの考えを語ります。（注：ハーバードに行ったのでハーバードの経験がベースになっていますが、学校によってフォーカスに違いはあります） MBAとは【決
素朴な疑問：特許庁のシステムはそんなに難しいのか | 栗原潔のIT弁理士日記
特許庁の新システムの開発が頓挫して55億円が無駄になったというニュースは既によく知られています。特許庁は特別会計で運営されているのでこの55億円の出元は税金ではなく特許庁に出願人が支払ってきた料金なのですが、それでも国民の金であることに変わりはありません。加えて旧式化したシステムをしばらく使い続けなければならないということで、知財立国をめざす我が国にとって大きな痛手であります。 なんで、この話を今更持ち出したのかというと、昨日のTBSの報道特集でこの問題が取り上げられていたからです。番組では、開発に反社会的勢力がからんでいた的な話が中心になっていましたが、それに関する議論は別の方におまかせするとして、この機会に以前に書こうと思って書き忘れた話を書いておきます。純粋に情報システムとして見たときに特許庁のシステムはそんなに難しいのか、というお話です。 特許庁の内部事情は全然知らないので、特許庁
米グラミー賞「技術賞」に梯郁太郎さん NHKニュース
アメリカの音楽界で最も権威のあるグラミー賞のうち、音楽産業への貢献をたたえる各賞の授賞式が９日、ロサンゼルスで行われ、浜松市の楽器メーカー、ローランドの創業者、梯郁太郎さんが日本人の個人として初めて技術賞を受賞しました。 浜松市の楽器メーカー、ローランドの創業者、梯郁太郎さん（８３）はアメリカ人の技術者と共同で、ことしのグラミー賞の技術賞に選ばれました。 ９日、ロサンゼルスで行われた授賞式には体調がすぐれない梯さんに代わって次男でパーカッション奏者の郁夫さん（５１）が出席し、記念のトロフィーを受け取りました。 梯さんはメーカーや製品ごとに違っていた電子楽器の音の長さや大きさに関するデータの規格づくりに取り組み、楽器同士で情報のやり取りができる「ＭＩＤＩ」と呼ばれる標準規格の策定に大きく貢献したことが高く評価されました。 グラミー賞の技術賞は、これまで日本のメーカーが受賞したことはありますが
連邦軍量産型モビルスーツジムの全て
ここは、機動戦士ガンダムに登場し、大戦中の最良にして最強の量産型モビルスーツ『ジム』に関する世界でもっとも詳細なデータを誇るページです。映像的にジオンを称賛する傾向の高い戦後の数々のムービィの中にあっては、やられ役に徹することの多い本機ですが、実戦においてはジオン軍のいかなるモビルスーツよりも高性能であった事を忘れてはなりません。その事を再認識する為にもこのページを隅々まで是非、閲覧して下さい。『ジム』の本当の実力を理解出来るとともに、ジオン軍が、物量戦云々だけでなく今次大戦における主戦力といわれたモビルスーツの性能面でも負けるべくして負けた事を理解出来るでしょう。 なお、ジオン軍モビルスーツを紹介するページでは希望的観測や個人の思い込みで美化されているケースが散見されますが、本ページは、そう言った事を全て排除し、実戦のデータとともに事実のみを書き記してあります。 このページの数々のデータ
月給1万円のカンボジア人が「日本語入力」 日本人に残された仕事はあるのか？
ひと月ほど前にアジア各国を回って、現地で働いている人や起業している人たちと会ってきました。彼らは口々に「大変だけど、楽しい！」と言っていました。実際、彼らの顔はイキイキしていました。 そして、日本に帰ってきて、今度は就職活動に苦労している学生や社会人に会いました。「いや、ホント、大変ですよ」。確かにその大変さが顔に表れていました。日本で普通に生活したいだけなのに、なぜこんなに大変なんだろう？ 「海外就職研究家」の私が言うのもなんですが、日本国内で楽しくイキイキとできる仕事がたくさんあったら、わざわざ海外に行く必要もないでしょう。でも、そうもいかないから、いろんな選択肢を検討している人が多くなっていると思うのです。 同じことしかできないなら仕事は安い方に流れる 日本で普通の生活が難しくなっている理由は、東南アジアを歩くとすぐに分かります。先進国の人が貧しくなっている代わりに、途上国の人が豊か
オバマ勝利の裏側 データ解析チームが200万回ものバーチャル選挙を実施
2012年に相応しい裏方チームです。 有名数学者、ネイト・シルバー（Nate Silver）氏は、ヴァーチャル選挙を何度も行ないそのデータからオバマ大統領の再選を予想していました。が、オバマ陣営だって数学者に負けず劣らず、ヴァーチャル選挙を行いそのデータ解析を行なっていました。 ネタ元のTime誌がその様子を報じています。選挙にはデータを解析し先を見通す力が不可欠。現代ではそのデータ解析計算は、もちろんコンピューターが行なっています。オバマ陣営のオフィスには、｢The Cave｣と名付けられた部屋があります。そこで行なわれていたのは、公開された投票データを解析し、全米の投票を予想するというプログラム。大統領選挙直前の10月には、毎日6万6000回もの解析を行なっていました。毎朝、はじき出されるデータ結果を見て、この州での勝利の確率はこうだ、このようにリソースを配分するとこうだ、と打ち合わせ
バラク・オバマ版『マネーボール』 大統領選勝利の鍵はビッグデータの徹底活用
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 選挙でソーシャルメディアを活用するのは当たり前、情報は分析してこそ価値が生まれる。写真はオバマ大統領とFacebookのマーク・ザッカーバーグCEO（出典：Christopher Dilts/Obama for America） 米国の大統領選挙でオバマ大統領が再選を果たした。 この勝利をもたらした重要な要因がオバマ陣営の「情報戦」に求められるようだ。 オバマ陣営は徹底してビッグデータを活用したという話が、開票日翌日のTIMEの記事に載っていた。 アップルやマイクロソフト（とくにXbox）など、すぐにでも採り上げておかないといけない話題が山積みだが、今回はこの米大統領選挙に関する「旬のネタ」を紹介したい。 選挙対策のプロが頼ろうとする「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人間BI脱出の切り札、超「Excel」
ソフトウェアが農業をのみ込み始めた：業界変革に挑むIT起業家たち
「マイナンバー」16年から 税や年金手続き簡単に - 日本経済新聞
http://mainichi.jp/votematch/