最新アンサンブル学習SklearnStackingの性能調査(LBGM, RGF, ET, RF, LR, KNNモデルをHeamyとSklearnで比較する) - Qiita
Abstract white, inc の ソフトウェアエンジニア r2en です。 自社では新規事業を中心としたコンサルタント業務を行なっており、 普段エンジニアは、新規事業を開発する無料のクラウド型ツール を開発したり、 新規事業のコンサルティングからPoC開発まで携わります 今回は、機械学習の技術調査を行なったので記事で共有させていただきます 以下から文章が長くなりますので、口語で記述させていただきます scikit-learn 0.22で新しく、アンサンブル学習のStackingを分類と回帰それぞれに使用できるようになったため、自分が使っているHeamyと使用感を比較する KaggleのTitanicデータセットを使い、性能や精度、速度を検証する アンサンブルに使用する機械学習モデルは、lightgbm, regularized greedy forest, extremely r
こんにちは、LayerX CTOの@y_matsuwitterです。最近はパン作りにハマっています。無心に小麦と酵母の声を聞くことで精神の安寧を求めています。 この記事は LayerXテックアドカレ2023 19日目の記事です。前回は @shota_tech が「Go の linter 雰囲気で使っていたから調べ直した #LayerXテックアドカレ」を書いてくれました。次回はEMオフィスの@serimaより「Engineering Officeの話」がポストされる予定なのでご期待ください。 ISUCON13 昨日開催のISUCONに参加してきました。とても楽しい問題ですし、これだけの人数での開催を支えている運営の皆さんには頭が上がりません。個人でもLayerXとしてもスポンサーさせていただきました。ありがとうございます！ 10年近く一緒に出場している.datというチームで、私はプロンプトを
「Kaggle」というデータ分析に関するコンペティションプラットフォームをご存じだろうか。「Kaggle」では、企業や研究者が投稿した課題に対し、世界中のデータサイエンティストが最適モデルを競い合うコンペティションが開催されている。 コンペティションに勝つと、その順位に応じてメダルが付与され、さらにそのメダル数に応じて、称号が与えられる。Kaggleのコンペで1つのゴールドメダルと2つのシルバーメダルを取得した人は「master」が、Kaggleのコンペで5つのゴールドメダル(チームでも可)および1つのソロゴールドメダルを取得した人は「Grandmaster」が付与される。 この度、データサイエンティスト協会が開催したイベント「データサイエンティスト協会6thシンポジウム～実務者が集うデータサイエンスの最前線～」のセッション「「Kaggle Grandmasterに聞く！－トップデータサイ
Text Classification: All Tips and Tricks from 5 Kaggle Competitions
In this article, I will discuss some great tips and tricks to improve the performance of your text classification model. These tricks are obtained from solutions of some of Kaggle’s top NLP competitions. Namely, I’ve gone through: Jigsaw Unintended Bias in Toxicity Classification – $65,000 Toxic Comment Classification Challenge – $35,000 Quora Insincere Questions Classification – $25,000 Google QU
この記事は Kaggle Advent Calendar 2020 の16日目の記事です。去年ネタ記事*1を書いたので今年は真面目なやつにしました。 はじめに Kaggler はコンペにおいてあらゆる手段を用いて評価指標の改善を目指します。特徴量エンジニアリング、モデルや学習手法の試行錯誤、特殊な前処理・後処理の考案、はたまた Leakage の利用に至るまで、ルールを破らない範囲であれば何でもする*2のが Kaggler です。今挙げた例はそのコンペ固有の性質(データの生成過程・分布、評価指標、... etc.)に着目することで大きな効果をもたらす場合が多いのですが、一方でいずれのコンペにおいても一定の効果が得られる手法があります。それは複数のモデルの予測結果を統合して予測を行う Ensemble です。Ensemble は統合するモデルに多様性があるほど性能が向上すると一般に知られてお
最近は画像コンペではモデリングの余地があまりないことが多いが、系列データのコンペはデファクトの（pretrain）モデルが確立しておらずモデリングで勝敗が分かれることが多い。ここで系列データとは、時系列データ、センサデータ、RNA等のシーケンスデータのようなデータを意図している。 このような背景のもと、これまでの系列データを扱ったKaggleコンペティションとその上位解法を振り返りながら、系列データの深層学習モデリングを俯瞰する。 紹介しているコンペ： - IceCube - Neutrinos in Deep Ice - Google - American Sign Language Fingerspelling Recognition - Stanford Ribonanza RNA Folding - HMS - Harmful Brain Activity Classifica
「問題を解決するために、統計やソフトウエア開発・プログラミング、ビジネス問題解決、ソフトウエアツールの活用などの知識やスキルを統合活用する。これがデータサイエンティストに関する古典的な定義だ。だが、非常に大切なのに無視されがちな役割がある」。 こう指摘するのは、データサイエンティストのセルゲイ・ユルゲンソン（Sergey Yurgenson）氏である。機械学習自動化ツールを提供する米データロボット（DataRobot）のアドバンスドデータサイエンスサービス ディレクターとして、顧客の問題解決を手掛ける傍ら、後進の指導を務めている。 データサイエンティストは世界中に数えきれないほど存在する。データサイエンス／機械学習関連のコンペティションとして知られる「Kaggle」には11万2607人が登録されている（2019年6月14日時点）。どのような人材までをデータサイエンティストと呼ぶかにもよるが
エムスリーに入社しました｜yukinagae
本日7月1日にエムスリーにデータエンジニアとして入社しました。「入社っぽいモチーフと言えば桜だな」と思ったので、季節外れですがアイキャッチ画像に使いました。 なぜ入社（転職）ブログを書くのか？なぜこのような文章を書くかというと、自分が入社する時に考えていたことを記録して、言語化しておきたいからです。 今回この記事を書く個人的な目的をまとめると、以下のとおりです。 ・言語化しておくことで自分の考えを客観的に見ることができる ・言語化しておかないと当初やりたかったことや初心を忘れてしまう ・読んだ人が一人でも参考にしてくれたり、「いいね」してくれると嬉しい入社・転職など人生の中でも大きな決断だと思います。しかし、入社してから仕事を一生懸命やればやるほど、数ヶ月・数年後に「なんでこの会社に入ったんだっけ？」とか「どういう仕事をやりたかったんだろう？」というように当初考えてたこと・やりたかったこと
コモディティ化するKaggleのTier 差別化のポイントは？ 大久保渉太氏（以下、大久保）：では次の質問に行きます。「昨今、特に日本においてKaggleのTierは、コモディティ化しつつあるように見えます。これについてどう思われますか？ そこで大切になる、Tierだけでは表せない差別化ポイントは何だと思いますか？」。これは誰が答えますか？ 横尾修平氏（以下、横尾）：では僕が答えます。 （一同笑） 大久保：お願いします。Tierがコモディティ化しているという話ですね。 横尾：コモディティ化しているというのは、事実としてあると思っています。Grandmasterの数は、確か日本だとまだ20名ぐらいしかいない気がするので、まだまだ大丈夫なんじゃないかなと思います。マスターになってくると、今は相当数が増えているという印象があって、そうなると差別化する要素が必要になってくるのではないかなと思います
Part2 特徴量エンジニアリング 前回の振り返り... パート１では、実践的な多変量時系列予測モデルを構築するためのアプローチを紹介し、過去のKaggleコンペティション のデータセットを用いて、ベースラインとなるSeasonal Naiveモデルを作成しました。 今回のパート２では特徴量エンジニアリングを扱います。 時系列データの特徴量エンジニアリング NRIデータサイエンスブログへようこそ！NRIのデータサイエンティスト、時系列予測プラクティスチームのSatyakiです。 パート2では、特徴量エンジニアリング、特に時系列のMLモデルのトレーニングに使用される特徴量について説明します。 ARIMAやExponential Smoothingなどの伝統的な時系列モデルと異なり、機械学習モデルはクロスセクションデータを用いて学習させるため、それぞれの学習用サンプルは独立していると考えられま
共著で執筆した書籍「Kaggleに挑む深層学習プログラミングの極意」が明日(2023/2/2)発売するのでそちらの紹介です。既に書店によっては店頭に並んでいるようです。 Kaggleに挑む深層学習プログラミングの極意 (KS情報科学専門書) 作者:小嵜 耕平,秋葉 拓哉,林 孝紀,石原 祥太郎講談社Amazon https://www.kspub.co.jp/book/detail/5305133.html https://bookclub.kodansha.co.jp/product?item=0000323307 どんな本？ Kaggleを題材に深層学習の技術・活用法を解説している本です。深層学習が得意な分野として、画像処理（画像分類・画像検索）と自然言語処理を扱っています。 3章以降では章ごとに1つのコンテストを取り上げ、必要な技術を解説しつつ、PyTorchを使い実際にある程度高い
by Kevin Ku Googleの子会社であるKaggleは、投稿されたデータに対していかに優れた最適モデルを構築するかを、世界中のエンジニアやデータサイエンティストが競うプラットフォームを提供しています。そのKaggleで行われたとあるコンテストで、優勝チームが不正なモデルを構築して賞金を獲得していたことが判明しました。 PetFinder.my Contest: 1st Place Winner Disqualified | Kaggle https://www.kaggle.com/c/petfinder-adoption-prediction/discussion/125436 How a Kaggle Grandmaster cheated in $25,000 AI contest with hidden code – and was fired from dream SV
アンドパッドのデータ基盤チームに所属している成松です。 先日までkaggleで開催されていたH&M Personalized Fashion Recommendationsにて、私が参加したチームが2,952チーム中22位で銀メダルを獲得しました！ そこで、本記事ではH&Mコンペの簡単な概要説明と私個人のSolution（Private 36位相当）について紹介します。 コンペ概要 本コンペは、指定されたテスト期間中に購入されそうなH&Mのファッションアイテム12個をユーザごとに予測し精度を競うという内容でした。データとしては、ユーザや商品の属性（ユーザ年齢、商品カテゴリなど）を記したメタデータ（customers.csv, articles.csv）とトランザクションデータ（transactions_train.csv）、そして商品の画像データが与えられました。また、本コペではMAP@1
グーグル、「BigQuery」と「Kaggle」を統合
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間6月24日、エンタープライズ向けデータウェアハウスの「BigQuery」に「Kaggle」を統合したとGoogle Cloudブログ上で発表した。Kaggleは、データ科学者らが使用する「Jupyter」ノートブックを手がける企業であり、2017年3月にGoogleによって買収されている。 この統合によって、BigQueryの顧客は高速なSQLクエリと、SQLによる機械学習（ML）モデルの訓練、KaggleのJupyterノートブック環境「Kaggle Kernels」を用いた分析が可能になる。 BigQueryとKaggleの統合によって以下の利点がもたらされる。 ビッグデータに対するクエリや分析を1カ所から実行
AutoML Tablesを使ってKagglerを倒せなかった話 #atmaCup - atma-inc__blog
はじめに 弊社が主催するデータコンペのatmaCupに、 普段はサーバーサイドエンジニアで機械学習ほぼ未経験の私が、 AutoML Tablesを使って参加し、 数多のKaggler犇めく中で31チーム中8位になりました。 本記事はAutoML Tablesを実際のデータコンペに投入してみた結果と感想です。 結論 AutoML Tablesはかなりの運ゲー 1時間程でそれなりの結果が出るAutoML Tablesはすごい AutoML TablesよりKagglerはすごい 概要 対象者 本記事の対象者は、機械学習初心者の方や、AutoML Tablesって聞いたことあるけど実際どうなの？という方向けです。 自己紹介 atma株式会社でサーバーサイド及びフロントエンドエンジニアをしている田中です。 機械学習はほぼ未経験です。 最近はFirebase+Vue.jsを使用したアプリケーションを
こんにちわ。カレーちゃん（@currypurin）です。 2018年7月に、公務員から専業でKaggleをやるという決断をして、退職しkaggleをやってきました。 2019年12月くらいから、就職活動をして、4月末に就職先が決まり、６月から働くことになりました。 「完全未経験からKaggleをやって、若くもない中途での就職活動って採用されるの？」という疑問に答えるため、どのような就職活動だったか書いてみます。 なお、具体的な企業名は書いていないので、ご了承ください。 ざっくりとプロフィールや、Kaggleの戦績・大学は数学科卒 ・大学卒業後は、国税（税務署で働くやつ）に就職し、そこから出向して財務省などでも働く ・2018年6月末で公務員を退職し、「専業Kaggler」（貯金を食いつぶす生き方）になる ・Kaggleでは金メダル３つのKaggleMaster（2018年7月金メダル、20
BERTopic は、Transformersを用いて文書のトピックモデリングを行うためのPythonライブラリです。本記事では、自分がKaggleコンペの初手EDAによく使うコードをまとめました。 入出力のイメージ 入力： 文章のリスト （例：["I am sure some bashers of Pens fans ...", "My brother is in the market for a high-performance video card that supports VESA local bus with 1-2MB RAM. Does anyone hav...", ...]） 出力： 各文書の関係性を表した2次元座標図 ソースコード 以下にもあります Github Google colab import pandas as pd from umap import UMA
はじめに 先週からマケデコというMarket APIのDeveloper Communityの運営をスタートしており、その中で我々が問題設計を担当した以下のKaggleコンペにおいて どのような問題設計と実際にどうやって解いてみたのか？ という質問を頂きました。 この記事では、そのあたりについてKaggleで金融コンペを開催するための(僕が知っている)すべてを記載してみようと思います。 もし、このような話に興味があればマケデコDiscordのリンクを以下に記載しておきますので、ぜひご参加ください！ キックオフイベントも開催しますので、よろしければこちらにご登録ください！ なお、本記事はコンペ主催のJPX総研様からも許可をいただき、記載させていただいております。JPX総研様が提供する株価/財務情報を取得できるJQuants APIもご興味あれば、現在は無料ですので、ぜひお試しください。 Ka
なお，私こと Maxwell は共著（門脇・坂田・保坂・平松）で昨年の 10 月に「Kaggle で勝つデータ分析の技術」を技術評論社様から出版させていただいています．本書は，拙著と相補関係にあり，初心者向けとしての意味合いが強いと思います．もし「Kaggle で勝つデータ分析の技術」が敷居が高いと感じる場合は，まずは本書を読んでみることをお勧めします． それにしても，Kaggle 関連の和書がだんだんと世の中に増えてきましたね．私の場合，Kaggle の存在を知り，なんとなくサイトをみるようになったのが 5 年くらい前なのですが，当時は本はおろか日本語の情報ですら Web 上には満足に落ちていませんでした．非常に感慨深いものがあります． その当時ですが，情報の非対称性（コンペに長く参加している人だけが知っている手法や鉄則など）によるコンペにおける優位性というものが，今より高かったように思
kaggleを始めてから3年半、ようやく1つの目標であったGMになることが出来ました。 前回の記事で最初の金メダルを取るところまでは書いたので、その続きとして金メダルを取ったコンペを中心に機械学習人生を振り返っていきたいと思います。 転職：2020年8月 RSNA STR Pulmonary Embolism Detection：2020年10月 SIIM FISABIO RSNA COVID-19 Detection：2021年5月 Happywhale - Whale and Dolphin Identification：2022年2月 (番外編) Kaggle Days World Championship：2022年10月 RSNA Screening Mammography Breast Cancer Detection：2022年11月 なぜ金メダルが取れたか これから 転職：
SantaとAHCと遺伝的アルゴリズム
DeNAの2023/2/21のDS輪講の発表資料です。
DATUM STUDIO株式会社 取締役CAOの里洋平氏が運営するYouTubeチャンネル「里洋平チャンネル」。今回のゲストは、Kaggle Expertのしぃたけ氏。Kaggleとその魅力について話しました。 Kaggle歴1年で「Kaggle Expert」を持つしぃたけ氏 里洋平氏（以下、里）：みなさんこんにちは、里洋平です。今回はKaggle Expertで、メーカーでデータ分析業務をされている、しぃたけさんに、Kaggleとその魅力についてお話を聞いていきたいと思います。しぃたけさん、本日はよろしくお願いします。 しぃたけ氏（以下、しぃたけ）：よろしくお願いいたします。 里：では、さっそくですが、まず自己紹介をお願いできますか。 しぃたけ：某日系メーカーでデータ分析系の業務をしている、しぃたけと申します。Kaggle歴はここ1年ぐらいで、先ほどのご紹介のとおり、「Kaggle E
GCPでkaggle用の環境を作るのに苦労した こんにちは、Qiita初投稿のhiromuです。 最近、KaggleのJigsaw Unintended Bias in Toxicityc Classificationに参加し、3位入賞を果たすことができました。 その際に、必要に駆られてGCPを使ったのですが、意外とつまずくポイントが多かったです。 なので、自分へのメモ用もかねてこの記事を書いています。 Compute Engineのデプロイまで @lain21さんの記事の「GCEインスタンスの作成」がとても丁寧でわかりやすいです。 ただ、コメント欄で紹介されているように、事前にGPUの割り当てを行なっておく必要があります。 やり方は以下の通りです。 1.コンソールのIAMと管理->割り当てをクリック 2.指標のチェックボックスでGPUs(all regions)にチェックをつける 3.横
学生だけど正社員！Kaggler&競プロerの23歳アルゴリズムエンジニアにインタビュー | 株式会社AppBrew
こんにちは、AppBrew（アップブリュー）の阿部です。 今回インタビューでご紹介するのはProductGrowthチームでアルゴリズムエンジニアを務める平尾 礼央（ひらお れお）。 平尾は高専を卒業後、首都大学東京システムデザイン学部情報通信システムコースに編入。大学で自然言語処理を学ぶ傍ら、Kaggleの機械学習コンペで上位5%の成績を収め、競技プログラミングサイトAtCoderでは上位15%の成績である水色を獲得しました。 大学院に進学後、2020年の8月にAppBrewに正社員としてジョイン。以来、AppBrewのメインプロダクト「LIPS」にてアルゴリズム部分の機能開発を担ってきました。今回のインタビューでは入社のきっかけや学生と正社員の両立について聞いていきます。 ーーこれまでの経歴について簡単に教えてください。 シンガポールで生まれ、親の都合でパキスタンに行き小3まで過ごしま
Kaggle体験記：IEEE CIS Fraud Detectionで19位/6381 - kurupicalのブログ
はじめに こんにちは。くるぴー(@kurupical)です。 このたび、IEEE CIS Fraud Detectionコンペに、@pondelion1783さん、@HighGradeToppoさん、@TaTakoihirokazuさんと参加し、19位/6381の成績を残すことができました。 チームのみなさまはとても優秀で、コンペに参加した2ヶ月の間とても刺激的な時間を過ごすことができ、いい経験になりました。 チーム目標であった「金メダル」も達成できてとても嬉しいです。本当にありがとうございました！ このブログでは、これからKaggleなどのデータ分析コンペ参加しようとしている方向けに、どのようにコンペに取り組んだのかという経緯を残しておきたいと思います。 何かのお役に立てれば幸いです。 もしよろしければ、1年前に書いたkaggle体験記もあわせてご覧ください。 kurupical.hat
Kaggleで始める機械学習入門 - Qiita
機械学習を学んで何かをコードを作ってみよう、と思うときにネックになるのが学習用データと実行環境ですよね。何千件もあるデータを用意するのは大変ですし、初学者にとって高価なGPUを購入するのはハードルが高いです。 そこで機械学習のプラットフォームであるKaggleを利用し、チュートリアルでタイタニック生存者予測に取り組んでみます。 Kaggleにユーザ登録する まずKaggleを開き、Registerボタンをクリックします。Googleアカウントでユーザ登録するか、メールからユーザ登録するか、お好きな方でどうぞ。 Kaggleは英語のみですので、DeepLなどで翻訳しながら進めると良いかもしれません。 コンペに参加する ユーザ登録できたら、「Competitions」を開き、おそらく先頭に表示されているであろう「Titanic」を選んでください。次のURLから直接アクセスしてもOK。 http
kaggleやSIGNATEのようなデータ分析コンペでは時に大容量データを扱うことがあるので、ラップトップPCではメモリが足りなくなることがあります。そういう場合はつよつよPCを購入するかGCPやAWSのようなクラウド環境を利用するのですが、後者はプログラミング初心者には難しい面があります。Google CloudのAI Platform Notebooksを使うと簡単にコンペの分析環境を作れるため紹介したいと思います。 AI Platform Notebookのインスタンスを作成する Google Cloud Platformで新しいプロジェクトを作成する。(typoでpropjectになってしまいました) ナビゲーションメニュー > 人工知能 > AI Platform > ノートブック を選択する。 APIを有効にしていない場合は有効にする。 新しいインスタンスから好きな環境を選ぶ。
GitHub - nlp-with-transformers/notebooks: Jupyter notebooks for the Natural Language Processing with Transformers book
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
初回で当てる。Wordle必勝法? on Kaggle
英単語当てクイズゲーム Wordle のブームは、プログラマ中心に止むことなく、様々なバリエーションの Wordle クローンやパロディ、最善手を求める解析やソルバーなどが毎日のように発表されています。 今回出てきたのは「Wordle を初手で解く」方法。 ゲームの性質上、とんでもない偶然でもなければ初手で解けるはずはありません。つまり何かしらズルをしているのです。 Wordle の棋譜(途中経過)は⬛🟨🟩のブロックを使って表され、解いた後にツイッターで自分の結果を共有することができます。というか、このSNSでの共有機能こそが Wordle の大ブームを起こしたわけです。 この共有棋譜は、もちろんアルファベットの情報は載せず、試行錯誤の跡だけが見えるようになっています。 しかし、多くの人が試行錯誤した経路の情報が十分多くあれば、そこから正答を推測できるのではないか、というのがこのプロジ
はじめに こんにちは！Gunosy Tech Lab の石川（@takaishikawa42）です。 この記事は Gunosy Advent Calendar 2019、12日目の記事です。 昨日の記事は id:mgi さんによるグノシーにおける AWS Transit Gateway 活用事例 でした。 12月11日・12日の2日間の日程で六本木の Google Japan のオフィスで開催された Kaggle Days Tokyo に参加してきたので、本記事ではそのレポートを書きたいと思います。普段趣味で Kaggle を楽しんでいる身として Kaggle Days が東京で開催されることを知り、前のめりで参加してきました。 当日の様子は Twitter のハッシュタグ #kaggledaystokyo で呟かれており、togetter でもまとめられています。*1 はじめに Kagg
はじめに Bengali.AI Handwritten Grapheme ClassificationというKaggleの画像コンペに参加しました． ベンガル語の書記素(grapheme)が1つ描かれた画像から，その書記素がどのようなクラスに属するかを分類する問題設定で，簡単に言えば少し難しいmnistです． 順位が察し*1だったので解法については差し控えますが，円滑にモデルを生成するためにPipelineを組みました． 「せっかくだから次回以降のコンペでも使えるように抽象的に書こう！！」というモチベーションのもと生まれたスパゲッティ🍝は以下の通りです． github.com この記事では，自戒を込めて，Kaggle用途にPipelineを作成して得られた知見をまとめます． また使用FrameworkがPyTorchなので，一部PyTorchにしか当てはまらないことがあります． あくまで
NFLのPlayer Contact Detectionで金メダル獲得＆コンペ振り返り - Taste of Tech Topics
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 日本時間3/2までKaggleで開催されていたコンペティションである「1st and Future - Player Contact Detection」がとても面白かったのでその共有をします。 なお、私が所属したチームは9位で金メダルを獲得しました。ソリューションは次に記載されておりますので、ご確認ください。 www.kaggle.com どのようなコンペだったのか。 NFLに関するコンペはここ数年連続で開催されています。 1年目：プレイヤーのヘルメットの座標を衝突したか否かを検出する。 2年目：プレイヤーのヘルメットごとにプレイヤーをアサインする
この記事はどんな記事なのだ？ こんにちはなのだ、kaggle masterのアライさんなのだ。 この記事はkaggle advent calendar 2019 その1の13日目の記事なのだ。 前日はu++さんのKaggle Days Tokyoの記事なのだ。アライさんも参加したかったのだ。 明日はtakapy0210さんの学習・推論パイプラインについてなのだ。楽しみなのだ。 Kagglerの間では連綿と受け継がれる便利関数がいくつかあるのだ。アライさんはそれをKaggleコード遺産と呼ぶことにしたのだ。この記事ではKaggleコード遺産の紹介とその出処の検証1を行おうと思うのだ。面白かったら是非upvoteしてくださいなのだ。 さあKaggleパークの冒険に出発なのだ！ おことわり 今回の記事はPythonコードに限った話になってしまったのだ。KaggleのNotebookではRも使える
Kaggle Tweetコンペ振り返り - コンペ概要・BERTによるQ&Aアプローチについて - memo
はじめに 本記事では2020年3月~6月にかけて開催され、約2200チームが参加したKaggleのコンペ Tweet Sentiment Extraction（通称Tweetコンペ）について、振り返りを兼ねてまとめたいと思います。 はじめに コンペ概要 データ データ数について Sentimentについて 元データについて 評価指標 BERTによるQ&Aアプローチ Question Answeringについて 本コンペにおけるアプローチ QAアプローチの課題 最後に コンペ概要 Tweetと正解ラベルの例 まず初めに本コンペのポイントをいくつか挙げます Sentimentラベルの与えられたTweetから、そのSentimentに該当する箇所を抜き出す課題。 アノテーションの問題で正解ラベルにノイズが多く含まれており、noisy labelへの対処もポイントとなった。 BERTやRoBERT
Python: Null Importance を使った特徴量選択について - CUBE SUGAR CONTAINER
今回は特徴量選択 (Feature Selection) の手法のひとつとして使われることのある Null Importance を試してみる。 Null Importance というのは、目的変数をシャッフルして意味がなくなった状態で学習させたモデルから得られる特徴量の重要度を指す。 では、それを使ってどのように特徴量選択をするかというと、シャッフルしなかったときの重要度との比率をスコアとして計算する。 もし、シャッフルしたときの重要度が元となった重要度よりも小さくなっていれば、スコアは大きくなって特徴量に意味があるとみなせる。 一方で、シャッフルしたときの重要度が元とさほど変わらなければ、スコアは小さくなってその特徴量は単なるノイズに近い存在と判断できる。 あとはスコアに一定の閾値を設けたり、上位 N 件を取り出すことで特徴量選択ができるようだ。 今回使った環境は次のとおり。 $ sw
連載目次 前回は、Kaggleが提供するkaggleパッケージをインストールして、Visual Studio Code（以下、VS Code）の統合ターミナルからコマンドラインを使ってKaggle APIにアクセスしてみました。今回はkaggleパッケージを使ってPythonのコードからKaggle APIにアクセスしてみます。 意見が違って面白いですが、私の場合は、結局、リーダーボードなど見たりするので、基本的な作業はKaggle Webサイト上で行うのが一番快適だと感じています。 一方で、「Submissionの自動化」だけに限定してKaggle APIが便利だと感じています。Submission時のメッセージもコードで自由にカスタマイズできるので、コマンドよりも扱いやすいです。Submissionは何度も行う作業ですが、データセットのダウンロードなどは一度切りの作業なので、Kaggl
機械学習実験環境を晒す - Qiita
14日目はいのいちさんの【Kaggle】2020年に開催された画像分類コンペの1位の解法を紹介します です！ 16日目は俵さんの黒魔術への招待：Neural Network Stacking の探求です！ Kaggleをやる私に必要なもの こんにちは、皆さんはKaggleやってますか？ 正直なことをいうと、自分はあまりKaggleコンペに参加してないのでエアプ勢になってます。どちらかというとマイナーなコンペばかりに参加してて…… Kaggle（広義）で勝つためにたくさんの実験を回しますが、何も考えていないと後々苦しみます。 僕がコンペに参加してる時のあるあるをまとめます。 今日やった実験は明日は忘れてる 破壊的変更ばかりする commitがだるい ソースが汚い 諸々あってそろそろちゃんとした実験環境整えようかなという気になって自分のソースコードを整理してました。その頃にちょうどadvent
Kaggle で開催されたAPTOS 2019 Blindness Detection（網膜コンペ）にソロで参加したのでその振り返りです。 www.kaggle.com 結果は174th/2943 (TOP6%)で銅メダルでした。このコンペで2枚目の銅メダルを獲得し、Kaggle Expertになることができました。 コンペ概要 網膜の画像から糖尿病網膜症の重症度を予測します。 ラベルは0〜4の5段階で数字が大きいほど重症を表しています。 糖尿病網膜症については以下のスライドが分かりやすいです。 糖尿病網膜症 from 理 秋山 評価指標はquadratic weighted kappaです。 またkernel only コンペだったので学習は手元でOKですが推論はkernel上で完結させる必要があり、以下にkernelの制限時間内に推論できるかもこのコンペのポイントでした。 自分の手法
BERT で簡単に日本語の文章の特徴ベクトルを取得できるクラス作った - かえるのプログラミングブログ
小ネタです。 表題の通り、日本語の特徴ベクトルを5秒で作れると嬉しいなと思ってまとめてみました。 成果物 https://github.com/osuossu8/Utils/blob/master/text_preprocess/bert_sentence_vectorizer.py 参考にさせていただいたページ huggingface/transformers の日本語BERTで文書分類器を作成する - Qiita コサイン類似度行列？それNumPyですぐ出せるよ - Qiita https://jp.quora.com/BERT-wo-shiyou-shi-te-bunshou-no-ruiji-do-wo-sanshutsu-suru-ni-ha-dono-you-na-tejun-ga-hitsuyou-desu-ka How to use サンプルとして以下の文章群について適用し
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ISUCON13にLLM活用担当で参戦しました - LayerX エンジニアブログ
データサイエンティストのトップ「Kaggle Grandmaster」って、どんな人？
黒魔術への招待：Neural Network Stacking の探求 - 俵言
Kaggleで学ぶ系列データのための深層学習モデリング
データ分析者の最重要使命とは？「Kaggle」元世界チャンプの意外な答え
Kaggleで得られるのは“技術領域の深化”と“専門分野の拡張” DeNAのKaggle Grandmasterたちが語る、AIエンジニアとしての生存戦略
時系列予測モデルの実践論２ －昔のKaggleを事例に－ - NRI Data Science BLOG
書籍「Kaggleに挑む深層学習プログラミングの極意」発売します - iwiwiの日記
Googleが主催する機械学習のコンテストで勝利したチームが競技の課題をハックしていたことが判明
H&Mコンペで銀メダルを獲得したソリューション - ANDPAD Tech Blog
専業Kagglerを経て、就職活動して就職が決まったのでまとめたよ｜カレーちゃん
KaggleのNLPコンペで初手に使える可視化 〜BERTopicを用いた文書クラスタリングと可視化〜
Kaggleで金融コンペを開催するための(僕が知っている)すべて
読書感想文「Python ではじめる Kaggle スタートブック」｜Maxwell
Kaggle Grandmasterになったので今までを振り返る - kaggle日記
Kaggle歴1年で「Kaggle Expert」に昇格 チャレンジする人へ贈る、挫折しないためのアドバイス
Kaggle用のGCP環境を手軽に構築 - Qiita
Google CloudのAI Platform Notebooksで楽々コンペ環境の構築 - Qiita
Kaggle Days Tokyo 参加レポート - Gunosyデータ分析ブログ
ML Pipeline for Kaggleのススメ - 重み元帥によるねこにっき
Kaggleコード遺産 - Qiita
https://github.com/phalanx-hk/kaggle_cv_pipeline/blob/master/kaggle_tips.md
環境編：VS CodeからPythonでKaggle APIを呼び出してみよう
Kaggleの網膜コンペで銅メダルをとったので振り返る - 機械学習エンジニアの備忘録