企業に移って5年が経ちました - 渋谷駅前で働くデータサイエンティストのブログ
月日が経つのは早いもので、かつてボンクラ研究者だった僕が企業（そしてインダストリー*1）に移ってからちょうど今日で5年が経ちました。インダストリーに移ってからのこの5年間で様々なことを体験し、あるいは見聞し、あるいは決断したりしてきたわけですが、良い区切りなので自分にとってのマイルストーンとするためにも、ここでこれまでの5年間を振り返ってみようと思います。 Disclaimer 以下に体験談もしくは見聞談として記載されている内容は、特に断りがなければ自分自身の複数の体験や見聞及び同業の友人知人からの見聞をマージして一般化したものであり、過去現在の個々の特定の所属先における特定のエピソードや職務内容及び特定の個々人のエピソードなどを意味するものではありません。またここで述べられている意見はあくまでも個人の主観的な意見であり、いかなる特定の企業・組織・機関も代表するものではありません。 この5
データサイエンティストもしくは機械学習エンジニアを目指すならお薦めの初級者向け6冊＆中級者向け15冊（2017年春版） - 渋谷駅前で働くデータサイエンティストのブログ
(Photo credit: https://pixabay.com/en/books-door-entrance-italy-colors-1655783/) この記事は一昨年のこの書籍紹介記事のアップデート版です。 相変わらず毎月のように新刊書が出続けるデータ分析業界ですが、良い本が増え続けてきたせいでついに初級者向けは6冊、中級者向けは何と15冊にまで膨れ上がってしまいました（汗）。ともあれ、自分のところにアフィリエイトの類は一銭も入らないにもかかわらず*1懲りずに書籍紹介をやろうと思います。 あ、最初に断っておきますが僕の知識レベルは極めて適当なので、極めていい加減なことを書いている可能性があります。また最初に読んでから時間が経っていて記憶があやふやなせいで、内容に関する記述が不正確な書評が混じっている可能性もあります。誤っているところやおかしいところがあったらバンバン突っ込んでく
世界を代表する8人の旬なトップ機械学習研究者たち (2017年上半期版) - Gunosyデータ分析ブログ
データ分析部の久保です。 最近行ったライブはAimerのAcoustic Live Tour 2017です。 早いもので2017年も3月になりましたが、機械学習分野は相変わらずとてもホットな分野です。 去年はAI、人工知能という言葉がディープラーニングとともにバズワードになり、その傾向は尚も続いています。 その流行の元となったのが機械学習なわけですが、今その最先端ではどういう人がどのような研究をしているのかをかなりざっくりと見ていきたいと思います。 調査方法は2013年に同様のことを行ったとき qiita.com と同じく、NIPSとICMLという機械学習の代表的国際会議の過去3年分を対象とし、1st authorの重要度をそれ以外の著者よりも重くしてスコアづけしました。具体的には複数人の著者がいる場合は1st authorを0.8として、残りの0.2を他の著者に分配、1人の場合は1として
私たちはいかにして環状線で”悪さをする列車”を捕まえたか | プログラミング | POSTD
文：Daniel Sim 分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた
シリコンバレー在住のリベラルな僕がトランプ大統領支持者100人と話して理解した｢アメリカのリアル｣
サム・アルトマンはシリコンバレーでもっとも有名なスタートアップインキュベーター｢Yコンビネーター（Y Combinator）｣を経営している。 Getty Images サム・アルトマンはシリコンバレーでもっとも有名なスタートアップインキュベーター｢Yコンビネーター（Y Combinator）｣を経営している。彼はトランプ氏に投票しなかったが、今回の件についてアメリカが何を考え、感じているかを知りたいと思い立ち、トランプ大統領支持者をインタビューしながら数カ月かけて全米各地をまわった。彼はそこでの発見を個人ブログに発表した。Business Insiderは許可を得て、それをここに転載する。（一部敬称略） 選挙のあと、僕は全米をまわってトランプ大統領に投票した人々100人にインタビューしようと決めたんだ。実際に中部を訪れて状況のどまん中に身を置いたし、オンラインでも何人もの人々と話した。
JIN'S PAGE
R、R言語、R環境・・・・・・ Rのダウンロードとインストール リンク集 題名 Chap_01 データ解析・マイニングとR言語 Chap_0２ Rでのデータの入出力 Chap_03 Rでのデータの編集と演算 Chap_04 Rと基本統計量 Chap_05 Rでの関数オブジェクト Chap_06 Rでのデータの視覚化(1) Chap_07 Rでのデータの視覚化(2) Chap_08 Rでのデータの視覚化(3) Chap_09 GGobiとデータの視覚化(Rgobi) Chap_10 Rと確率分布 Chap_11 Rと推定 Chap_12 Rと検定 Chap_13 Rと分散分析 Chap_14 Rと回帰分析 Chap_15 Rと重回帰分析 Chap_16 Rと一般化線形モデル Chap_17 Rと非線形モデル Chap_18 Rと判別分析 Chap_19 Rと樹木モデル Chap_20 WEK
初心者でもほぼ無料でR言語を勉強できるコンテンツ10選 - paiza開発日誌
Photo by Hermann Kaser こんにちは。谷口がお送りします。 ITエンジニアの方の中には「R言語を学習したい」という方も多くいらっしゃるかと思います。 R言語は、データ分析やデータ処理に特化したオープンソースのプログラミング言語です。システムを開発をする他のプログラムミング言語とは位置付けが異なり、統計解析機能が付いていて、解析処理やその結果をグラフィカルに表示することができます。 そのため、多量のデータ解析が求められるソーシャルゲームの解析や、リサーチ、データマイニング、アソシエーション分析が必要な業務の求人が増えています。 また近年データサイエンティストが注目されていることもあり、今後求人が増えることが予想されます。 そこで今回は、プログラミング未経験～初心者の方が、なるべくコストをかけずにR言語に触れられて、学習に役立てられるコンテンツを10件ご紹介していきます。
野良ビッグデータへのお誘い
Masanori TakanoSystem Engineer, Technology Researcher at CyberAgent, Inc.
「死にたくなければ女医を選べ」日本人の論文が米で大反響 （ダイヤモンド・オンライン） - Yahoo!ニュース
「女性医師(内科医)が担当した入院患者は男性医師が担当するよりも死亡率が低い」――。米国医師会の学会誌で発表された日本人研究者(米国在住)の論文が、現地のワシントンポスト紙、ウォール・ストリート・ジャーナルなどの有力一般紙がこぞって取り上げるほどの騒ぎとなった。『死にたくなければ女医を選べ！ 』という報道まであったという。果たして、女性医師に診てもらった方が安全なのだろうか。日本でも当てはまることなのだろうか。その論文を書いたハーバード公衆衛生大学院の津川友介氏に取材してみた。(医学ライター 井手ゆきえ) 医師・歯科医師・薬剤師調査の概況(厚生労働省)によると、2014年12月31日現在の医師数は31万1205人で、このうち病院や診療所で働いている医師は29万6845人、男性医師が23万6350人、79.6％、女性医師が6万495人、20.4％だった。 診療科別では圧倒的に内科医が多く
OECD、PISAの結果をみると日本はもはや“オタク”ですらない
「世界最先端 IT 国家」の現実がこれなのか？ １つのデータだけですべてを語るのは無理がある。まだ学ぶことも多い15歳のコンピューターやインターネットの利用状況を見て、その生徒のその後の人生やその国の将来が分かるというつもりもない。しかし、12月はじめに公開されたOECDの「生徒の学習到達度調査」（PISA＝Programme for International Student Assessment）の結果は、いささかショッキングな内容だった。数学・読解力・科学の成績がよいのは結構だが、600設問以上におよぶアンケート調査結果には、真摯に受け止めるべきデータが多く含まれている。 前回は、日本の生徒たちのデジタル環境が、残念なことに世界最低レベルといわざるをえないことを紹介した。今回は、そうした環境の中で子供たちが何をしているかを見る。 15歳というピンポイントとはいえ、学習関連以外の設問項
実務の現場においてモデリング（統計学的・機械学習的問わず）を行う上での注意点を挙げてみる - 六本木で働くデータサイエンティストのブログ
気が付いたら僕がデータ分析業界に身を置くようになってそろそろ5年近くになるんですね*1。この5年間の間に色々勉強したり業界内で見聞してきた経験をもとに、「実務の現場においてモデリングを行う上での注意点」についてだらだらと書いてみようと思います。 と言うのも、色々な現場で様々なモデリング（統計学的にせよ機械学習的にせよ）が行われていることが伝わってくるようになった一方で、ともすれば「え？こんな基礎的なポイントも守ってないの？」みたいなとんでもないモデリングがまかり通る現場があると愚痴る声を業界内で聞くことが少なくないので。自戒の意も込めて重要なポイントを備忘録としてブログ記事にまとめておくのも有益かなと思った次第です。 この記事では手法選択（線形・一般化線形・ベイズ＋MCMC・識別関数・識別モデル・生成モデル・樹木モデル・Deep Learning etc.）の話題は割愛しました。一般に、モ
Jupyter Notebook を使ってみよう
本ページでは、Jupyter Notebook の概要と基本的な使い方について紹介します。 Jupyter Notebook とは Jupyter Notebook (読み方は「ジュパイター・ノートブック」または「ジュピター・ノートブック」) とは、ノートブックと呼ばれる形式で作成したプログラムを実行し、実行結果を記録しながら、データの分析作業を進めるためのツールです。 プログラムとその実行結果やその際のメモを簡単に作成、確認することができるため、自分自身の過去の作業内容の振り返りや、チームメンバーへ作業結果を共有する際に便利なほか、スクール形式での授業や研修などでの利用にも向いています。 このようなノートブック形式で分析作業を行うためのツールとしては、微分積分などの科学技術系計算ソフトウェアの Mathematica (マセマティカ) や Spark, Hadoop などの並列分散処理シ
統計を始めたい人に僕がPythonよりＲを勧める理由 - 蛍光ペンの交差点
今回は「ほぼＲしか使ったことがない」人間*1が、できる限り二者の優劣をくっきり述べる。 僕はほとんどＲしか使ったことがない。Pythonはtfidfやクイックソートをライブラリ無しで実装した程度。 前半の主張は以下である。 「過去のＲでの１０回程度の解析において、Ｒで不十分さを感じてPythonを使った経験は１度だけ、しかも部分的にしかなかった。Ｒの使いにくさを感じることも最近はだいぶ無くなった。だから初学者には「事足りる」Ｒを勧める。」 前半の主張 今までにＲでやった解析の内容は大体以下である。 （未発表）は途中で頓挫した、もしくは現在進行中／契約により詳細＆解析結果の公開不可能のプロジェクトである。 [ビジネス・製造業] 米国新車価格の線形重回帰分析（授業の期末課題） [ビジネス・不動産] 不動産賃貸価格の線形重回帰分析（発表スライド） [ビジネス・ＩＴ] ＥコマースサイトのＡＲＩＭＡ
独学で機械学習を勉強したい人のための勉強本決定版か？「Python機械学習プログラミング」が良い感じ - データの境界
4月から予約開始してようやく先日届いたpythonの機械学習本 Python機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear) 作者: Sebastian Raschka,株式会社クイープ,福島真太朗 出版社/メーカー: インプレス 発売日: 2016/06/30 メディア: 単行本（ソフトカバー） この商品を含むブログを見る 宣伝文句としては、 原著『Python Machine Learning』は米国Amazon.comでベストセラー! 3つのカテゴリーで首位(2016/5/24時点) Data Modeling & Design/Data Processing/Neural Networks とのことだったので非常に楽しみにしていたのですが、土日にパラパラと読んだところ期待通りの良い勉強本だと感じました。本国amazonのベスト
H.264の秘密 | POSTD
(編注：2020/08/18、いただいたフィードバックをもとに記事を修正いたしました。) (2016/12/11、いただきましたフィードバックをもとに翻訳を修正いたしました。) H.264は、動画圧縮コーデックの標準規格です。ネット上の動画、Blu-ray、スマホ、セキュリティカメラ、ドローンなどなど、今やあらゆるところでH.264が使われています。 H.264は注目すべき技術のひとつです。たったひとつの目標、つまりフルモーションビデオの送信に要するネットワーク帯域を削減することを目指した30年以上の努力の結晶なのです。 技術的な面でも、H.264はとても興味深い規格です。この記事では、その一部について概要レベルでの知識を得られることでしょう。あまり複雑だと感じさせないようにするつもりです。今回おはなしする概念の多くは動画圧縮全般にあてはまるものであり、H.264に限ったものではありません
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Engadget | Technology News & Reviews
イスラエル発「AIダッシュカム」がもたらすのは、事故のない社会か、監視社会か
いま、世界の大企業は「AI人材」を食い尽くそうとしている
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
http://org-rabo.com/rgenngo_syosinnsya_manaberu/