Kaggleで勝つデータ分析の技術
2019年10月9日紙版発売 2019年10月9日電子版発売 門脇大輔，阪田隆司，保坂桂佑，平松雄司 著 B5変形判／424ページ 定価3,608円（本体3,280円＋税10%） ISBN 978-4-297-10843-4 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto この本の概要 データサイエンスの認知の高まりとともに，データ分析に関するコンペティションが多数開催されるようになってきました。最も有名なコンペティションプラットフォームであるKaggleにおけるプレイヤー数は10万人を超え，多くのエンジニアが自分の腕を試すためにコンペティションに参加しています。分析コンペでは，実際のデータを扱うため，機械学習の解説書にはあまり載っていないよ
Learn Python, Data Viz, Pandas & More | Tutorials | Kaggle
Practical data skills you can apply immediately: that's what you'll learn in these no-cost courses. They're the fastest (and most fun) way to become a data scientist or improve your current skills.
Kaggleにおける「特徴量エンジニアリング」の位置づけ 〜『機械学習のための特徴量エンジニアリング』に寄せて〜 - u++の備忘録
はじめに 『機械学習のための特徴量エンジニアリング』の書誌情報 Kaggleのワークフロー 1. （探索的データ分析） 2. ベースラインモデルの構築 3. Validationの構築 4. 特徴量エンジニアリング 5. ハイパーパラメータ調整 6. アンサンブル 『機械学習のための特徴量エンジニアリング』の貢献箇所 Kaggle観点で本書をオススメする読者 おわりに はじめに このたび、『機械学習のための特徴量エンジニアリング』をご恵贈いただきました。 Kaggleと親和性が高い書籍名で、Twitterのタイムラインなどを見るに、Kaggleに興味がある層を中心に大きな注目を集めているようです。 本記事では本書の発売に寄せて、Kaggleの自分流のワークフローと「特徴量エンジニアリング」の位置づけについての私見を述べます。その上で本書がKaggleのワークフローのどの部分に寄与するかを説
kaggle: Mercari Price Suggestion Challenge まとめ - copypasteの日記
はじめに コンペ概要 特別ルール kernel only 2stage 特別ルールの影響 データの種類とタスク 評価方法 提出方法 勉強になる Kernel と Discussion Mercari Interactive EDA + Topic Modelling | Kaggle Ridge Script | Kaggle ELI5 for Mercari | Kaggle A simple nn solution with Keras (~0.48611 P 12a776 | Kaggle Wordbatch FTRL+FM+LGB (LBL 0.42506) | Kaggle CNN GloVE single model-Private LB 0.41117 (~35th) | Kaggle Mercari Golf: 0.3875 CV in 75 LOC, 1900 s | K
【Kaggleのフォルダ構成や管理方法】タイタニック用のGitHubリポジトリを公開しました - u++の備忘録
はじめに Kaggleのタイタニック GitHubリポジトリ 執筆の経緯 大まかな方針 参考にした情報 フォルダ構成 configs data input output features logs models notebook scripts utils 計算の実行 Git管理 おわりに はじめに 本記事では、Kaggle用フォルダ構成や管理方法について、現時点での自己流の方法をまとめます。「現状自分はこういうやり方を試している」という話なので、よりよい方法などあれば、ぜひTwitterなどで教えてください。 具体例がないと抽象的で分かりづらいと思ったので、Kaggleのタイタニックを題材にしました。GitHubのリポジトリも公開しています。 Kaggleのタイタニック Kaggleのタイタニックとは、Kaggleのチュートリアル的な問題として認知度の高いコンペティションです。タイタニッ
コピペで使える。Kaggleでの実験を効率化する小技まとめ - 天色グラフィティ
この記事はKaggle Advent Calendar 2018の20日目の記事です。当初の予定ではPLAsTiCCコンペの振り返りをするはずだったのですが、時空の狭間に吸い込まれた結果0サブミットでフィニッシュしてしまいました。何ででしょうね。 そこで、代わりにKaggleで使える便利なスニペットまとめを書くことにします。 ちなみにもうひとネタあったのでいつか書きたいですが、修論があるのでいったん見送り…… LINEに通知を送る 処理にかかる時間を計測する Jupyter Notebookの場合 Pythonスクリプトの場合 LightGBMの学習結果をログに出す Google Spreadsheetに結果を記録する Google Spreadsheet側の設定 Pythonからアクセスする Notebook上でライブラリを毎回再読込する DataFrameのメモリを節約する まとめ L
機械学習初心者が約10ヶ月でメダルより大切なものを獲得できた話【kaggle Advent Calendar 17日目】 - ギークなエンジニアを目指す男
本記事は、kaggle Advent Calendar 2018の17日目の記事です。 qiita.com 何を書くか直前まで悩んでいましたが、16日に参加したAIもくもく会の中で、 機械学習に興味はあるけど、どのような手順で、何から勉強していったら良いかわからない という方が数名いたので、自分が今年の3月くらい〜今日に至るまで勉強してきた中から 今の自分ならこのような手順で勉強することをオススメする！という記事を書いてみようと思います。 ※自分の勉強した教材の中からのオススメになるので、偏った内容になることをご了承ください。 ※これもオススメ！というものがありましたら、ぜひ教えていただけると嬉しいです。 タイトルにあるメダルより大切なものについては最後に記載しております。 対象読者 2018年3月時点の筆者スペック 2018年3月〜今日に至るまで勉強したこと羅列 書籍 動画 udemy
遺伝的プログラミングによる特徴量生成でLightGBMの精度向上【kaggle Advent Calendar 11日目】 - u++の備忘録
本記事は、kaggle Advent Calendar 2018の11日目の記事です。 qiita.com 執筆のきっかけ 先日参加したKaggle Tokyo Meetup #5 の ikiri_DS の発表「Home Credit Default Risk - 2nd place solutions -」にて、遺伝的プログラミングで生成した特徴がLocal CV、Public LB、Private LBの全てで精度向上に貢献したという話がありました。 connpass.com 遺伝的プログラミングや遺伝的アルゴリズムは、大学の学部時代から興味があり、ブログでも何度か取り上げてきました。しかしKaggleなどで試したことはなかったので、自分で手を動かして検証してみようと考えた次第です。 upura.hatenablog.com upura.hatenablog.com 遺伝的プログラミン
Kaggleに入門したい人におすすめするアプローチ法 - Drumatoの独り言
注意: 2019年11月12日追記. 非常に多くの方にご覧頂いているこの記事ですが, 私が機械学習･データサイエンスの勉強をし始めた時期に執筆したものであり, また現在は低レイヤー,システムプログラミングの勉強をしており,この分野についてはノータッチです. 内容については 信憑性に欠ける記事 というのを念頭に置きつつ, あくまでKaggle入門者が ｢どうやってKaggleを始めるか｣を考えていく記事だと考えていただければ幸いです. 目次 目次 概要 簡単な経歴 Kaggleに対するアプローチ 結果よりもプロセスを意識する Python､R関係無く読む コミュニティに入る オススメ環境 高スペックマシンを扱えるカーネル NoteBookの管理にGit 実際の流れ 参加するコンペを選ぶ Kernelを見る 高スパンにカーネルを訪れて､最新の手法を真似し続ける Tips よく使われるアルゴリズ
Kaggle Tokyo Meetup #5 - 資料一覧 - connpass
Dropbox is a free service that lets you bring your photos, docs, and videos anywhere and share th... Read more >>
Kaggleは凄かった! 更に簡単な出品を目指して商品の値段推定精度を改善中 - Mercari Engineering Blog
皆さん、こんにちは機械学習エンジニアの @hurutoriya です。 2018/05/09 にメルカリが開催した Kaggle Competition である「Mercari Price Suggestion Challenge」の閉会式を行いました。 「Mercari Price Suggestion Challenge」では実際に米国版メルカリで販売された商品データを公開して、参加者の皆様に商品の値段推定精度を競い合っていただきました。 Mercari Kaggle Competition: Closing Ceremony 2018 – connpass この閉会式は「Mercari Price Suggestion Challenge」の上位者(ロシア・ポーランド・中国)と日本人上位入賞者を招待して、各種上位者の解法やKaggleに対する考え方をパネルディスカッション形式でお話を
Mercari Price Challenge -機械学習を使ったメルカリの価格予測 Ridge回帰 LightGBM - データとかITとか統計とか好きなこと
ポケモンデータ解析に続いて、またKaggleでのデータ解析ネタです。 今回の解析テーマはフリマアプリのメルカリです。提供されているのはアメリカで行われた商品毎の取引データです。データ内には出品者側が登録した商品名、商品コンディションランク、商品カテゴリ、ブランド名、価格、配送料負担サイド、商品概要が含まれています。自分もメルカリをたまに使用しますが、ユーザはカテゴリ欄や商品概要などは自由に選択したり書いているので、統率の取れているデータになっていない部分もあります。 現在賞金のかかったコンペが行われていて、一番精度の高い価格予測モデルを作成した人は10万ドル(約1,000万円)が貰えるそうです！ まぁレベルが高すぎて、僕には関係ない話なのでコンペは無視してデータ解析の勉強をしていきたいと思います。 参加者の賢い人たちがコードを公開してくれているので、参考にしながら機械学習の方法を学んでいき
Kaggle メルカリ価格予想チャレンジの初心者チュートリアル
初めて機械学習に学ぶのであれば、Kaggleへ参加する前に初歩的な手法から学ぶのがオススメです。環境構築が不要、オンラインで実行が可能な機械学習入門チュートリアルを公開中！機械学習の世界へ飛び込んでみませんか？ スクラッチで最小二乗法と最急降下法をPythonでコーディング（線形回帰） ロジスティック回帰の概要や数学的理解と実践に役立つ知識（ロジスティック回帰） メルカリ 価格予測チャレンジ概要 Kaggleメルカリチャレンジでは、販売者が投稿した情報を基に「適正な販売価格」を予測するチャレンジです。訓練データとして、ユーザーが投稿した商品情報やカテゴリ、さらに商品の状態やブランド名などが与えられており、それらを基に販売価格を予測するモデル作成が課題です！ 下記、Kaggleメルカリチャレンジの必要な概要情報まとめです。 コンペ開始日は2017年11月21日 エントリー締切日は2018年2
0から始めるkaggle超初心者向け入門
はじめに 「kaggleって何？」という人が、 kaggleがなにかわかる（話が合わせられる） kaggleコンペに参加してみる（ノリ気になる） ためのお手軽説明です(｀・ω・´) Agenda kaggleとは？ データ分析のトレンドの変化 kaggleの仕組み なぜkaggleをやるの？ やってみた(｀・ω・´) 1. kaggleとは？ 世界最大の機械学習・データ分析のコンペを主催するプラットフォーム つまり データサイエンティストの世界最強を決める大会 kaggleの規模 ユーザ数: 50万以上 国: 190カ国以上 らしい(｀・ω・´) 2. データ分析トレンドの変化 理論（theory） ↓ 実践（practice） 昔 理解するのが大事（theory） 今 実践・役立つのが大事（practice） 実践を重視している具体例 kaggle コンペ ノウハウの共有（コード・ディス
Kaggleで世界11位になったデータ解析手法～Sansan高際睦起の模範コードに学ぶ｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Kaggleで世界11位になったデータ解析手法～Sansan高際睦起の模範コードに学ぶ Kaggleの上位入賞者であるKaggle Grandmasterを獲得した、Sansan株式会社のデータサイエンティスト高際睦起さん。模範となるソースコードをもとに考え方や解析手法を教えていただきました。 「Porto Seguro’s Safe Driver Prediction」とは？ 【技法1】前処理 【技法2】特徴抽出 【技法3】予測モデルの作成 Kaggle初心者は何から始めるべき？ データサイエンティストを目指す若き人たちへ 世界中のデータサイエンティストたちが集まり、企業や研究者が投稿したデータに対する高精度なモデルを競い合うプラットフォーム・Kaggle。メンバーは100万人を超えており、良問の多さや参加者のレベルの高さゆえに、機械学習を学ぶ者にとって優れた研鑽（けんさん）の場となって
Kaggleで上位10%に入るデータサイエンティストから学ぶデータ分析のプロセスについて - EurekaMoments
背景・目的 参考記事 Kaggleとは？ 扱われたお題 プロセス①: データの中身を確認する プロセス②: データの相関を調べる プロセス③: 欠損したデータを補完する プロセス④: モデリング前の事前処理 プロセス⑤: 解析とモデリング 最終的な結果 背景・目的 世の中の凄腕データサイエンティスト達はどのようにしてデータ分析をしているのか調べていたところ、Kaggleのコンペに参戦して上位に食い込んでいる人の技術記事を見つけました。最終的にモデルを作って予測をするところまでの過程が分かりやすくまとまっているので、とても参考になりました。 今回の記事は、上記の記事を読んで学んだデータ分析のプロセスについてのメモです。 参考記事 www.mirandora.com www.mirandora.com www.mirandora.com Kaggleとは？ 世界中で30万人以上のデータサイエン
[Kaggle]0から本当に機械学習を理解するために学ぶべきこと～一流のデータサイエンティストを例に～ - Qiita
「機械学習が出来るようになりたい」そう思いつつも、中々身についた感じがしない。 そんな方々に向けて、Kaggleで公開されているデータ分析の手順を追いかけながら、そこで必要とされている知識を解説したいと思います。全体像を把握することで、より理解が進むはずです。 1. データを分析するために必要な統計的知識 機械学習の目的は未知の事柄を推定することです。そのために既にあるデータから何らかの法則性を見つけ出す為に様々な手法が考えられてきました。 統計学はご存知でしょうか？ 機械学習はデータを扱うという点で統計学と深い関係があります。平均値や標準偏差などは聞いたことがあると思います。統計学はそれらの情報をこねくり回すことによって、限られたデータから本当の全体像を推定します。例えば、選挙の結果を開示前に知りたいときに、投票者全員に聞ければ良いですが、そうもいきません。そこで、統計学は様々な方法を使
![[Kaggle]0から本当に機械学習を理解するために学ぶべきこと～一流のデータサイエンティストを例に～ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f4a54c2f823323603e91d6c7e92388fa3e031a8c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCS2FnZ2xlJTVEMCVFMyU4MSU4QiVFMyU4MiU4OSVFNiU5QyVBQyVFNSVCRCU5MyVFMyU4MSVBQiVFNiVBOSU5RiVFNiVBMiVCMCVFNSVBRCVBNiVFNyVCRiU5MiVFMyU4MiU5MiVFNyU5MCU4NiVFOCVBNyVBMyVFMyU4MSU5OSVFMyU4MiU4QiVFMyU4MSU5RiVFMyU4MiU4MSVFMyU4MSVBQiVFNSVBRCVBNiVFMyU4MSVCNiVFMyU4MSVCOSVFMyU4MSU4RCVFMyU4MSU5MyVFMyU4MSVBOCVFRiVCRCU5RSVFNCVCOCU4MCVFNiVCNSU4MSVFMyU4MSVBRSVFMyU4MyU4NyVFMyU4MyVCQyVFMyU4MiVCRiVFMyU4MiVCNSVFMyU4MiVBNCVFMyU4MiVBOCVFMyU4MyVCMyVFMyU4MyU4NiVFMyU4MiVBMyVFMyU4MiVCOSVFMyU4MyU4OCVFMyU4MiU5MiVFNCVCRSU4QiVFMyU4MSVBQiVFRiVCRCU5RSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9NjdiN2YwOTVlMWM4Yzc4Nzg2YzgzMTJkZWZlZmRkOWY%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB6ZW5vbm5wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1kYjdkZjRhYWU2MzBkZWM2ZjhlYThlMjQ4ZTAxNjRhNg%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D785c46ed4b2354aacb4bdcc0136340ba)
kaggle初心者の私が3ヶ月でソロゴールドを獲得した方法 | リクルート
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら こんにちは。今年2018年4月より新卒でRCOに入社した松田です。 kaggle というデータ分析のコンペティション運営サイトが昨今世間に注目されていますが、 今回 TalkingData AdTracking Fraud Detection Challenge において2月にkaggleを始めた私が単独で金メダル(ソロゴールド)を獲得できたのでそれまでにやったことなどをシェアしたいと思います。 図: kaggleサイト( https://www.kaggle.com/ )のプロフィール画面より 図: kaggleでの活動ログ。中2ヶ月はやってないので実質の活動期間は1ヶ月ほど コンペの具体的内容やテクニックの話は 別記事 にまとめたので、
Kaggleで使えるpandasテクニック集 - 天色グラフィティ
PythonでKaggleなどのデータ分析を行う際、pandasでゴリゴリ作業をすることが多いかと思います。 最近知って「めっちゃ便利やん！」ってなったものをまとめておきたいと思います。 全部の関数にドキュメントへのリンクを付けたので参考にしてください。 今回も検証にはTitanicのデータセットを用います。また、文中でのdf.hoge()はpandasのDataFrameのメソッドであることを、pd.hoge()はpandasの関数であることを表します。 df = read_csv('input/train.csv', index_col=0) print(df.shape) df.head() 最低限押さえておきたいやつら まずはここから。 10 Minutes to pandas よく使うやつら。詳しい解説は省略するので、ドキュメントのリンク先を見てください。 関数 内容 リンク d
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Use Cases for Model Insights