Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～PythonKaggle 事業会社でデータサイエンティストをしているu++です。普段ははてなブログ1で、Kaggleや自然言語処理などデータ分析に関する記事を定期的に書いています。 Kaggleでは2019年に「PetFinder.my Adoption Prediction」2というコンペで優勝（チーム）し、「Santander Value Prediction Challenge」3というコンペで銀メダルを獲得（個人）しました。「Kaggle Master」と呼ばれる称号4を得ており、Kaggle内ランクは、約16万人中最高229位です5。 本記事では「Kaggleに登録したら次にやること」と題して、Kaggleに入門したい方に向けて次のようなコンテンツを掲載します。

※本記事は、Lionbridge AI発の連載記事を再編集したものです。他の機械学習に使えるオープン・データセットまとめ記事は、こちらからご覧ください。 本記事は、日本語のデータセットを紹介いたします。日本語の公開データセットを無料ダウンロードできるポータルサイトや、自然言語処理に使える日本語のテキストデータセットを含みます。 機械学習に使える日本語のデータセットポータル DATA GO JP: 日本政府のデータカタログサイト。日本政府は、公共データを広く公開することにより、国民生活の向上、企業活動の活性化等を通じ、我が国の社会経済の発展に寄与する観点から、機械判読に適したデータ形式を、営利目的も含めた二次利用が可能な利用ルールで公開する「オープンデータ」の取組を推進しています。このウェブサイトは、二次利用が可能な公共データの案内・横断的検索を目的としたオープンデータの「データカタログサイ

この記事は、Kaggle MasterであるBen GormanさんによるGradient Boosting Explainedを和訳したものです。日本語でGradient Boostingの原理を解説した記事があまりなかったのですが、この記事が非常にわかりやすかったので、ご本人に和訳の許可をお願いしたところ、快諾していただきました。Benさん、ありがとうございます。この記事が日本人Kagglerの助けになれば幸いです。 まえがき 線形回帰がトヨタのカムリだとしたら、勾配ブースティングはUH-60ブラックホークヘリコプターでしょう。勾配ブースティングの実装の一つであるXGBoostはKaggleの機械学習コンペで長らく使われ、勝利に貢献し続けています。 しかし残念なことに、（以前の僕を含め）多くの人がこれをブラックボックスとして使ってしまっています。多くの実利的な記事でも説明が省かれていま

データサイエンティストの定義は？必要スキルは？現役データエンジニア／アナリストと考えた結論 需要が高まるデータサイエンティストというロールですが、業務の定義や、必要スキルは一体どのようなものでしょうか。3名のデータエンジニア／アナリストに実践から得た答えを聞きました。 データエンジニアとデータアナリストの違い 分析と実装。データサイエンティストに求められる要件 数学の素養が重要。技術は仕事で身につけられる！ データエンジニア／アナリストが考える必要なスキルセット データアナリスト・データエンジニアにとっての「事業貢献」 「データサイエンティスト」という肩書を耳にすることが増えています。 データの蓄積はとどまるところを知らず、さらにビジネスにおけるデータの重要度が増し続ける現在、同職が同じく重要になっていることは想像に難くないでしょう。 反面、データサイエンティストが現場で何をしているかは、

今回は統計学で有名な「シンプソンのパラドックス」という問題について紹介したいと思います。簡単にいえば、同じデータでも分析の仕方によって全く矛盾したように見える結果が得られるというお話です。データだけ見ると、信じがたいような直感に反する現象がおきるので頭の体操としてとても面白いです。 あまりに有名なパラドックスであるため日本語でも解説がいくつか出ていますが、人によって言っていることが違っていたり、不完全であったりします。多くはシンプソンによるオリジナルの論文を読んでないことから起因するのだと思います。 例えばシンプソンのパラドックスを交絡の問題だと捉える人は多いですが、個人的に不完全だと思います（間違いではない）。このように誤解が広まった歴史的背景も含めて、詳しく書いていきたいと思います。ちなみにアニメのシンプソンズはこの問題と全く無関係です。 そもそもシンプソンのパラドックスとは？ シンプ

(Image by Pixabay) 某所で時々意見交換させていただいている@maskedanlさんが、面白い記事をnoteにupなさっていたので拝読しました。細かい内容は上記のリンク先から皆さんに直接お読みいただくとして、記事中で某所で僕が放言（笑）したことへのご質問をいただいていたのでした。それは、データサイエンティストや機械学習エンジニアといったデータ分析人材に求められる「素質」について、です。 それは例えば統計学や機械学習はたまたプログラミングといった「スキル」や「素養」とも違う、言ってみれば性格的傾向とか仕事スタイルとかはたまた思想信条のような、もうちょっと属人的で曖昧なものだと思うのですが、個人的な経験からはその「素質」の有無がデータ分析職として育成した結果、ものになるかならないかを分けるように感じられています。 ということで、あくまでも個人的経験に基づく範囲でデータサイエンテ

昨今のデータサイエンティスト求人の高給に釣られてこれからデータサイエンティストになろうとしてる人の多くは、望むような収入にありつけないと思う。 理由は簡単で、日本にはびこるITベンダとは名ばかりの人売りベンダが、こぞって「データサイエンティスト募集！未経験応募可！」求人を出しまくってるから。 こいつらこそが日本のプログラマの地位と待遇を貶めてきた悪の親玉、ITに巣食う病理、悪性リンパ腫、諸悪の根源。 多くのデータサイエンティストの卵たちが、3〜5年後には「こんなはずじゃなかった」と唇噛み締めてる姿が手に取るように浮かぶ。 今後どういうことが起こるかというと、まずはこういう人売りITベンダがかき集めたド素人を適当にラッピングして”でーたさいえんてぃすと”に仕立て上げ、IT音痴のバカなユーザー企業に高価な値札を付けて大量に売りさばく。 そうするとどうなるか。 「データサイエンティストって役立た

研究者やグーグル、Apple、CYBERDYNEなど名だたる企業から人材が集まる（画像をタップすると高解像度版を表示します）。 取材をもとにBusiness Insider Japanが作成 メルカリが上場し、日本で有数のユニコーン（未上場で企業価値10億ドル以上の企業）とされるプリファード・ネットワークス（以下、PFN）。 トヨタやファナック、日立製作所など日本を代表する技術系大手企業から資金を調達し、事業面でも連携を進める、いま日本でもっとも注目を集めるスタートアップの1社だ。 PFNが開発したオープンソースの深層学習フレームワーク｢Chainer｣は、世界中の企業や開発者に利用され、AIの研究開発の最前線に食い込んでいる。 そのPFNは、プリファード・インフラストラクチャー（PFI）から分社する形で2014年3月に創業、現在の社員数は150人を超えた。そして、いまなお優秀な技術者が集

機械学習など主に予測を目的とした統計手法に強いイメージのPythonでしたが、統計的因果推論を行うためのライブラリ、“DoWhy”がついにリリースされました。 DoWhy | Making causal inference easy — DoWhy | Making Causal Inference Easy documentation これまで因果推論があまり浸透してこなかった*1データサイエンス界に新しい風が吹くのではと期待が高まります。 一方でこのパッケージが何を可能にし、逆に何ができないのかを理解しなければ、雑なデータ分析が増えて逆に有害なのではと思い、今回ブログを書くことにしました。 先に言っておくと、私自身はPythonをメインに使っているわけではありません（使ったことはあるので一応コードを読んで何が起こっているかくらいはわかります）。したがって本記事の目的は、DoWhyライブ

(Image by Pixabay) 勉強が進まないので、今回は与太記事でも書いてお茶を濁すことにします（笑）。ネタはこちらです。 Why your machine learning project will fail – THE DATA SCIENCE NINJA 9 Reasons why your machine learning project will fail 読んで字の如し、「あなたの機械学習プロジェクトが失敗する9つの理由」というグサグサ刺してくる論評記事です。あまりにもオリジナルの記事が素晴らしかったということか、KDnuggetsに誘われてrepostされた模様です*1。 最近は機械学習の学術・技術的研究開発も極めに極まったところで一息つく感じになってきている印象で、どちらかというとインダストリーサイドではML Opsという考え方が提唱されるようになってきています。そ

こんにちは、フロントエンド開発をリーディングしている古川 (@yosuke_furukawa)です。 昨年、こちらのブログで新人研修の特別講座の内容を紹介したところ、大反響だったので、今年も公開します。 リクルートテクノロジーズの新人研修 7月、リクルートテクノロジーズは新人の部署配属の季節を迎えました。 4月に(株)リクルートの新卒Web採用枠で入社した新人のうち、今年は20名が弊社に配属。3か月の研修期間を経て、早速現場での業務にあたってくれています。 リクルートテクノロジーズでは、配属までの3か月間「ブートキャンプ」という技術研修を実施しています。 ブートキャンプのコースは2つ。 一つは、プログラミングやWebサービスの構造の基礎を学び、その後1つのスマホサイトを企画からリリースまで行うコース。 もう一つは一定以上のプログラミングスキルと開発経験のある層向けに、より現場での技術に即し

厚生労働省が20日発表した2017年の国民生活基礎調査によると、16年の1世帯当たり平均所得は前年から2.7%増えて560万2千円だった。伸び率は24年ぶりの高水準だった。特に18歳未満の子どもがいる家庭は4.6%増え、739万8千円だった。賃上げによる給与引き上げの効果が広がったようだ。所得は高齢者世帯でも3.4%増え、318万6千円となった。内訳をみると、働いて得た所得の割合が22.3%で

「機械学習が出来るようになりたい」そう思いつつも、中々身についた感じがしない。 そんな方々に向けて、Kaggleで公開されているデータ分析の手順を追いかけながら、そこで必要とされている知識を解説したいと思います。全体像を把握することで、より理解が進むはずです。 1. データを分析するために必要な統計的知識 機械学習の目的は未知の事柄を推定することです。そのために既にあるデータから何らかの法則性を見つけ出す為に様々な手法が考えられてきました。 統計学はご存知でしょうか？　機械学習はデータを扱うという点で統計学と深い関係があります。平均値や標準偏差などは聞いたことがあると思います。統計学はそれらの情報をこねくり回すことによって、限られたデータから本当の全体像を推定します。例えば、選挙の結果を開示前に知りたいときに、投票者全員に聞ければ良いですが、そうもいきません。そこで、統計学は様々な方法を使

http://web.archive.org/web/20161019094922/http://www.tm2501.com/entry/2016/10/19/174103 記事内容そのものについては本人には直接話したのでもう逐一ダメ出しはしないけど。 この記事「よくわかってない人が思い付きを補強するために下手に統計を使うと余計駄目になる」のテンプレみたいになってるね。 悪気はないんだろうけど、やってることが疑似科学に近い 「東大の合格者の統計を調べていて、「無理な努力はするもんじゃない」と思った話」 というタイトルだけど嘘だよね。順番が逆だよね。 最初に結論があって、それに応じて都合のよい統計を持ち出そうとして、 しかもそれにすら失敗してるのに、無理やり統計を使って自分で自分の首を絞めてるよね。 しかも、途中からはそれすらも飽きて、自分の主観を垂れ流してるだけ。 こういう人は、最初から

ＮＨＫの世論調査によりますと、安倍内閣を「支持する」と答えた人は、先月の調査より６ポイント上がって44％だったのに対し、「支持しない」と答えた人は５ポイント下がって39％で、４か月ぶりに「支持する」が「支持しない」を上回りました。

日本経済新聞社とテレビ東京による22～24日の世論調査で、安倍内閣の支持率は52%となり、前回の5月下旬の42%から10ポイント上昇した。不支持率は5月の53%から42%に下がった。支持率が不支持率を上回るのは2月以来、4カ月ぶり。内閣支持率は2月に56%だったが、学校法人「森友学園」「加計学園」の問題などを受け、3月以降は40%台前半に低迷していた。支持すると答えた人に理由を複数回答で聞くと

共同通信の世論調査によると、内閣支持率は44.9％で、5月12、13両日の前回調査から6.0ポイント増えた。不支持は43.2％だった。

先日、当面の目標にしていた統計検定2級に合格することができた。 今回は、受験に関する諸々について書いてみることにする。 受験のきっかけ 以前から、データ分析や機械学習に興味があった。 そして、それらの書籍を読んだり手法を調べていくうちに、だんだんと統計学に対する興味が湧いてきた。 統計学は、データ分析や機械学習に深い関わりがある。 その後は、初心者向けの統計に関する書籍などを読んで学び始めた。 とはいえ、それだけでは統計が身についているのかがよく分からない状況に陥ってしまう。 そんなとき、統計検定の存在を知った。 ウェブで下調べしたところ、概ね統計検定の 2 級に合格すれば統計の基礎は分かっていると胸を張れるらしい。 現在、統計検定は 1 級 (数理・応用)、準 1 級、2 級、3 級、4 級と五つのレベルに分かれている。 公式では 2 級の試験内容を「大学基礎課程で習得すべきこと」と位置

挑戦する人の、 目の色を変えるメディア 現代の競争社会。闇雲に戦っても到底勝ち抜けやしない。 そこで「データ」という武器を。 データは無機質で色がない。武器になるが、答えはくれない。 ではどうするか。 あなた自身が挑戦し、創造し、実現する。 そうすれば、データに色がつき、見え方が変わる。 あなたが進化し、才能が開花していく。 『サイカロン』は、データ分析のノウハウをはじめ、チャレンジするビジネスパーソンの挑戦心や創造力を掻き立てるコンテンツを幅広く取り揃えたWebマガジン。 データを自由に扱うビジネスパーソンへの飛躍を、いまここから。