ビッグデータ新時代！データサイエンティストの仕事術｜【Tech総研】
ビッグデータ新時代！ データサイエンティストの仕事術 ビッグデータの活用が一般化する中、その使い手であるデータサイエンティストが注目されている。彼らはどんな資質や知識を持ち、データをどう扱っているのか。Gunosyの関喜史氏と、iAnalysisの倉橋一成氏が明らかにする。 ―― 本日はありがとうございます。まず、お二人の自己紹介をお願いします。 倉橋 iAnalysis合同会社という会社の最高解析責任者を務めます、倉橋一成と申します。学生時代（東京大学、同大学院）に医療分野を中心に統計学を研究していました。機械学習についても学び、論文を発表して博士号を取得しました。 こうした経験をビジネスに生かしたいと、卒業と同時にデータ分析を専門に行う弊社を設立しました。現在では医療分野に加えて、ソーシャルゲームやWebサービスなどの幅広い分野でデータマイニングなどを行っています。 関 株式会社Gun
みずほ情報総研 ： ディープラーニングがビッグデータ分析の進化を引き起こす
ビジネスにおいてデータを活用するプロセスは、以下の3段階で行われると考えられる。 （1）データ収集 （2）アナリティクス：データの分析による仮説の検証や新たな知見の創出 （3）価値創出：獲得した知見に基づく事業の最適化や新規サービスの創出 現在ビッグデータが注目されている理由は、このうち最初のデータ収集の段階において、データの量が増大したこと、データの蓄積速度が向上したこと、データのソースや種類の多様性が上がったことが要因と言われている。 しかし、データの量がいくら増えても、2段階目のアナリティクス、すなわちデータの背後に潜むパターンを見出す能力が低ければ、データの量を質へと転化し、3段階目の価値の創出につなげることは出来ないことは言うまでもない。 そのアナリティクスの分野で、2012年、大きなブレークスルーとなったディープラーニング（深層学習、Deep Learning）という技術がある
形態素解析に基づくＡＶタイトルの特徴分析 - oscillographの日記
こんばんは。夜の@oscillographです。 最近DMMアダルトがAPIを公開しました。 つまり、プログラムで直接データを取得できるようになったわけです。 ということで、今回はDMMアダルト（動画）の全タイトルを取得して 形態素解析を行うことによって日本のAVタイトルの特徴を分析しよう ということになりました。 手順としては、 DMM（ビデオ）のメーカーページを「あ」～「ん」までHTMLで取得 メーカーが特定タグに囲われていたので、正規表現パターンマッチで全メーカーを取得し、メーカー羅列をテキストに保存 テキストを読み込みながら各AVメーカーごとにapiを用いてAVタイトルを展開し、全メーカーのタイトルを取得 タイトルについて形態素解析を行うことによって単語を集計 正規化（全体の数で割ることによって割合で表す） という感じでやりました。 とりあえず、集計結果です。 上位３０位を抜き出し
なぜ、できない？ データ分析・活用の真実 ― IBMのデータ・サイエンティストが紐解く、ビッグデータ活用の秘訣 ―
なぜ、できない？ データ分析・活用の真実 ― IBMのデータ・サイエンティストが紐解く、ビッグデータ活用の秘訣 ― ビッグデータ活用が大きな関心を集めているが、できている企業は少ない。経営トップからは「うちにはビッグデータがあるけど活用できないのか？」「ビッグデータをもっと活用せよ！」などと言われているが、「何からどう進めていいのかわからない」という声も少なくない。何が不足しているのか、どのように進めていけばいいのか、 IBMのデータ・サイエンティスト同士が対談した。 次々と生まれるデータ活用の成功事例 米沢ビッグデータの時代という背景もあって、私たちデータ・サイエンティストの役割が増えてきました。 山田確かに注目度が高まっているのは感じます。ビジネスを取り巻くデータが増えたことで、データ分析の活用範囲も広がっています。 米沢成功事例もたくさん出てきています。アメリカの流通企業では、徹底し
『データサイエンティスト養成読本』はゼロからデータサイエンティストを目指す人なら絶対に読むべき一冊 - 渋谷駅前で働くデータサイエンティストのブログ
執筆陣12人中8人が直接の知人友人というこの新刊書でございますが。 データサイエンティスト養成読本 [ビッグデータ時代のビジネスを支えるデータ分析力が身につく! ] (Software Design plus) 作者: 佐藤洋行,原田博植,下田倫大,大成弘子,奥野晃裕,中川帝人,橋本武彦,里洋平,和田計也,早川敦士,倉橋一成出版社/メーカー: 技術評論社発売日: 2013/08/08メディア: 大型本この商品を含むブログ (4件) を見る もちろん僕も発刊が決まってAmazonに予約ページができた時点でポチりまして、読んでみたところあまりにも内容が素晴らしかったので早速現職場の図書コーナーに持ち込んだ次第です（笑）。ということで、僭越ながら書評など書かせて頂こうかと思います。 ざっくり内容紹介 正直言って、ものすごーーーく網羅的で非常によく出来ています。1ページ目から順に読んでいっても初学
ITエンジニアがデータサイエンティストを目指すには？
ITエンジニアがデータサイエンティストを目指すには？：ITエンジニアのためのデータサイエンティスト養成講座（1）（1/2 ページ） それぞれの専門分野を生かした「データサイエンスチーム」を結成すればデータ活用への道は短縮できる。そのとき、ITエンジニアはどんな知識があればいい？ データサイエンティストとして活動する筆者が必須スキル「だけ」に絞って伝授します。 連載バックナンバー はじめに：分析スキルの課題をどう乗り越えるべき？ 昨今では、IT系のメディアのみならず一般雑誌や新聞なども“ビッグデータ”というキーワードを見出しに使っています。この文字を目にしない日がないくらいに多用されていて“バズワード”としてとらえられるケースも少なからずあるようです。 しかし、世界の至る所で――もちろん日本でも、ビッグデータを分析することで新たな知見を見つけて利益を増大した企業や、顧客の購買行動を予測するこ
IBM辞め起業したデータ分析の三銃士、顧客のビューカードは彼らの「CMO代行業」に期待
JR東日本グループのクレジットカード会社であるビューカード（東京都品川区）の会田雅彦常務取締役は、悩んでいた（写真1）。これまで同社は、JR東日本の駅で広告・宣伝できるという恵まれた環境と、ICカードのSiuca（スイカ）との連動サービスといった独自の商品力で、順調に会員数と取扱高を伸ばしてきた。現在、約420万人のカード会員を抱えている。 ただし、今後さらに成長するには「もう一段、ギアチェンジが必要だ」。会田常務はそう考えていた。 同社の前身は、JR東日本のカード事業部で、1992年に発足した。3年前の2010年2月にJR東日本のクレジットカード事業を継承し、独立した企業であるビューカードとして営業を開始し、生き残りを図ることになった。 420万人の会員を集めるところまでは、単発でのマーケティング施策を続けて経営目標を達成してこられたが、「これからはそうもいかなくなる。もっと統合的なマー
データサイエンティストになりたい学生の為の就職先の選び方 - shakezoの日記
ここ半年でIT業界ではビッグデータというバズワードが一気に広がり、データ分析者の需要が急増しています。データサイエンティストは今後10年で最も魅力的な職業になるとも言われており、データ分析に携わる仕事に就きたいと考えている学生も以前よりは増えてきているのではないかと思います。 ビッグデータ、データサイエンティスト、データマイニング、機械学習などのキーワードが散りばめられた記事も連日のように投稿されていますが、新卒の学生がデータ分析の仕事に就くための方法について触れられているものはあまりないようです。IT業界で働いている人たちの間でも、正しい認知が進んでいない状況ですので、データ分析業界の構造を学生さんが理解することは難しいのではないかと思います。 私自身はデータ分析に携わって5年程度で、まだまだ初心者の域を脱していないぺーぺーですが、データマイナーになるためにどんなキャリアを積めばよいかに
データマイニングを仕事にする人の生態系 - dataminer.me
「データマイニングを仕事とする人＝データマイナー」はどういう人たちがいるかということについて ビックデータとかで世の中がバズってるけど「僕はデータマイニングをやってます！」といったときに適切にその人がやっている業務領域を把握している人ってかなり少ないと思う。 グリーで働いていたときもデータマイナーはどういった仕事をしていて、何をやっていて何ができるのかっていうことを理解していなくてミスコミュニケーションが生まれていたと思うのでちょっとその生態系についてまとめてみた。おそらく、データマイナーといわれる人は以下のタイプがいる： 研究開発をする人 統計学的に新しいイノベーションを起こせる人。Google のPageRankアルゴリズムを作りましたとか、NetfrixやAmazonのレコメンデーションエンジン作りましたとかいう人がこれにあたる。スキル的には統計学にかなり長けている必要があり、その他
目指せHadoopエンジニア-管理者・DBエンジニア編-
前編の「開発者編」では、Apache Hadoop（以降Hadoop）の歴史と概要に加え、開発者に必要な知識を客観的に証明できる認定資格、CCDH(Cloudera Certified Developer for Apache Hadoop)を紹介しました。後編では、Hadoopの管理者に求められる知識に加え、Hadoopの管理者向け認定資格、また最近のHadoop関連の話題とカラム指向分散データベースであるApache HBaseの紹介、およびHBaseの認定資格を紹介します。 Hadoopの管理者に求められるもの 前編で紹介したように、Hadoopでは一台から数千台規模のクラスタを構築することが可能であり、必要に応じてスケールアウトさせることができます。Hadoopは非常に強力ですが、管理するのはそれほど簡単ではありません。言い換えると、正しい知識を持たずに運用すると、大きなトラブルが
めざせ！Hadoopエンジニア―開発者編―
大規模データを処理するための基盤の一つとして、分散処理プラットフォームであるHadoopが広く使われるようになり、その勢いは世界中で加速しています。一方、大規模データの分析、活用のための人材不足が深刻化し、人材育成が急務となっている企業も少なくありません。本記事では、大規模データ処理基盤として注目されているHadoopの歴史と共に、Hadoopのスキルを客観的に証明できるHadoop認定プログラムを前／後編に分けて紹介します。 Hadoopが注目される理由 ハードウェアの進化に伴ってサーバの性能は年々向上しています。ムーアの法則にあるように、その中でもCPUなど半導体の性能は著しく向上しています。 一方でハードディスクの性能はこれに追いついておらず、データの読み書き時には待ち状態になってしまう場合もあるでしょう。 つまり、データ量が多ければ多いほど、待ち状態がボトルネックとなってしまうので
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
統計検定｜日本統計学会主催の資格試験
【インタビュー】ヤフーが日々蓄積するビッグデータの塊、3500台のHadoopで処理し地道に活用