最近は画像コンペではモデリングの余地があまりないことが多いが、系列データのコンペはデファクトの（pretrain）モデルが確立しておらずモデリングで勝敗が分かれることが多い。ここで系列データとは、時系列データ、センサデータ、RNA等のシーケンスデータのようなデータを意図している。 このような背景のもと、これまでの系列データを扱ったKaggleコンペティションとその上位解法を振り返りながら、系列データの深層学習モデリングを俯瞰する。 紹介しているコンペ： - IceCube - Neutrinos in Deep Ice - Google - American Sign Language Fingerspelling Recognition - Stanford Ribonanza RNA Folding - HMS - Harmful Brain Activity Classifica
みなさん、お久しぶりです。A7です。ここ数か月いろいろと忙しくてなかなか記事を書けてませんでした。 松尾研LLM講座の記事もそのうちだすのでお待ちください そして今もまだ忙しいので、今回の記事もまたぱっとまとめます。笑 自己紹介 データサイエンティストを目指して日々勉強している、慶應義塾大学大学院理工学研究科1年生（2024.05.01時点） 取得資格、コンペ優勝経験など、リアルタイムの情報は👇👇👇をみてね X: @A7_data←普段はXで活動しています。ありがたいことに、フォロワーは6500人を超えました😌 プロフィールページ👇👇👇 X👇👇👇 背景 Kaggleやりたい！ってなってた。 Kaggleはデータサイエンティストなら知らない人はいない、世界一のデータサイエンスコンペティションプラットフォーム。 世界の第一線で働くデータサイエンティストの方も多く参加されてお
Kaggle Masterが語るMachineLearning - TechLovers #1 https://sony.connpass.com/event/315090/ での登壇資料です。 コンペの流れとtips的な情報を主観強めで紹介しています。
はじめに こんにちは、@s_shoheyです。 2024年2月28日から4月17日にかけて開催された、Kaggle LLM Prompt Recoveryコンペについてまとめます。我々のチームは72位でしたが、特に我々の解法には言及しません。 コンペ概要 2つの文字列original_textとrewritten_textが与えられます。rewritten_textはGemmaによりoriginal_textから生成されたものです。この生成時に使われたrewrite_promptを予測することが目的です。 図は https://www.kaggle.com/competitions/llm-prompt-recovery/discussion/480683 より Gemmaは2024年2月にGoogleが公開したオープンなLLMモデルであり、このコンペはGemmaの宣伝も兼ねているのでは、
【LPIXEL×CADDi】Kaggle Masterとマネージャーが語るAI製品化の舞台裏【イベントレポート】 - CADDi Tech Blog
みなさんこんにちは。キャディ（CADDi）でML/MLOpsチームのグループリーダをしている稲葉です。今日は、エルピクセル（LPIXEL）さんと一緒にオフラインイベントを開催しましたので、そのイベントレポートをお伝えしたいと思います。 はじめに イベントの詳細は、connpassのページをご確認いただけると幸いです。このイベントを開催するにあたってエルピクセルさんとも色々と議論したのですが、AIを製品として市場にリリースしているエルピクセル株式会社、キャディ株式会社からどういう点を意識してプロダクト開発しているかをお話すると実際の開発現場がイメージできるのではないかという話になりました。また、Machine Learning Engineert・Engineering Managerそれぞれの立場からお伝えすることで、AI製品化プロセス全体の話ができるのではないかと思い、このような内容で開
はじめに 概要 ベイズ統計を用いてKaggleの1タイタニック問題を解いてみる． 分析は以下の手順で行う． データの可視化・理解 データの加工・前処理 ベイズ統計分析 モデルの記述 デザイン行列・データリストの作成 Stanファイルの記述 MCMC! 結果の評価 実行環境 Mac OS Sonoma 14.1 R version 4.3.1 RStudio version 2023.12.1+402 > R.versions version.string R version 4.3.1 (2023-06-16) > sessionInfo() other attached packages: [1] posterior_1.5.0 cmdstanr_0.6.1 lubridate_1.9.3 forcats_1.0.0 [5] stringr_1.5.0 dplyr_1.1.3 purrr
BERTopic は、Transformersを用いて文書のトピックモデリングを行うためのPythonライブラリです。本記事では、自分がKaggleコンペの初手EDAによく使うコードをまとめました。 入出力のイメージ 入力： 文章のリスト （例：["I am sure some bashers of Pens fans ...", "My brother is in the market for a high-performance video card that supports VESA local bus with 1-2MB RAM. Does anyone hav...", ...]） 出力： 各文書の関係性を表した2次元座標図 ソースコード 以下にもあります Github Google colab import pandas as pd from umap import UMA
2023年4ー6月に開催されたImage Matching Challenge 2023(IMC2023)に参加し、４位（順位確定後は３位）を獲得することができました。 お疲れ様でした！！ 笑顔で泣いてる pic.twitter.com/XyJHAnZLSO — HeKa (@warm_start) June 13, 2023 ※画像は順位確定前のもの。 また、CVPR2023のワークショップの１つImage Matching: Local Features and Beyondに招待され、解法を話す機会をいただきました。 まさか自分がこのような貴重な場に参加できるとは思ってもみなかったです。大変刺激を受けました。 どんなコンペ？ いわゆるSfM（Structure from Motion）と呼ばれるテーマにあたります。 オブジェクトを色々な角度から撮影して得た画像セットを使い、それぞれの
Gemma
Gemma is a family of lightweight, open models built from the research and technology that Google used to create the Gemini models.
概要 SIGNATEで2024年1月18日～2024年2月15日において開催中のコンペ「第2回 金融データ活用チャレンジ」のデータを可視化し、LightGBMでの予測を行ってみました。 可視化はSeabornを活用することで、0,1のデータの分布を比較的簡単に見ることができるようになります。 予測結果のファイル名を都度設定するのは面倒なので、notebookのファイル名がそのまま使えると便利ですよね。notebookの設定を自動的に読み取る方法も紹介します。 とりあえずLightGBMで予測してみました。欠損値の補完などがなくても予測できてベースライン作成に便利です。 Confusion Matrix や Classification Reportを使って予測結果を出力できるようにしておきましょう。 データのインポート・前処理 ライブラリのインポート notebookの横幅を広げたいときに
はじめに 約5年前にKaggleを始めてから、昨年の12月にKaggle Competitions Grandmasterになることができました。この機会に、Kaggleを始めてからGrandmasterになるまでの過程を振り返ってみたいと思います。 Kaggleに参加する前は、機械学習に関する知識はほとんどありませんでしたが、質の高い公開ノートブックやディスカッション、日本のKaggleコミュニティ、頼りになるチームメイトのおかげで、なんとかKaggle Grandmasterになることができました。 だらだらと振り返っていたら、思ったより長文になってしまったので、適当に飛ばしつつ読んでいただけると幸いです。 www.kaggle.com はじめに バックグラウンド 参加前スペック 大学院での研究テーマ Kaggleとの出会い 下準備期間 参加コンペ振り返り 初参加~Expoertになる
Kaggle Grandmaster 分析レポート 2024年 -update版- | ResearchPort [リサーチポート]
本記事内容および公開データに対して多くのご意見をいただきまして誠にありがとうございました。 プロフィール更新のご連絡をいただきましたため、一部情報を更新しております。その結果、図4の企業ランキングにてLINEヤフー社が4位群に変更となりましたことご報告いたします。 ご意見・ご指摘いただきました方々、この場を借りて御礼申し上げます。 2024.01.26更新 本記事3行要約： ● Competition Grandmasterの総数で、日本が世界TOPに躍進！！ ● 7ヶ月間で新たに15名の日本人Competition Grandmasterが誕生！！ ● 企業別では、新たに4名のGMが生まれたPreferred Networks社が最多在籍！！ ＊更新情報＊ 「Kaggle Master 分析レポート 2024版」を公開いたしました。 Grandmaster 分析レポートと合わせてご覧くだ
![Kaggle Grandmaster 分析レポート 2024年 -update版- | ResearchPort [リサーチポート]](https://cdn-ak-scissors.b.st-hatena.com/image/square/516cc6b384caad9ba225425f0cb8fd05cb5b4d97/height=288;version=1;width=512/https%3A%2F%2Fresearch-p.com%2Fwp-content%2Fuploads%2F2024%2F01%2Fkaggle-top-img-1024x577.png)
Kaggleで始める機械学習入門でKaggleのアカウントを作成して、一通りの操作ができました。次はKaggle learnの以下の初級講座を使って機械学習の基礎を学習します。 この初級講座は７回のレッスンで構成されており、各回は解説パート(tutorial)と実践パート(exercise)に分かれています。実践パートでは、コンペと同様のNotebookでコードを動かす形になります。 実際にやってみた感想です。 ＜良かった点＞ ・１回１時間程度でサクッとできる ・１回あたりの内容は比較的かんたんで理解しやすい ・解説パートで学んだコードを実践パートで入力し、答え合わせできるので達成感がある ＜悪かった点＞ ・すべて英語… 英語なのは仕方ないですね。DeepLに頼りながら読み進めました。 内容としては、まず決定木を使ってシンプルなモデルを構築します。次にその結果を評価する方法を学び、良いモデ
Kaggleで始める機械学習入門 - Qiita
機械学習を学んで何かをコードを作ってみよう、と思うときにネックになるのが学習用データと実行環境ですよね。何千件もあるデータを用意するのは大変ですし、初学者にとって高価なGPUを購入するのはハードルが高いです。 そこで機械学習のプラットフォームであるKaggleを利用し、チュートリアルでタイタニック生存者予測に取り組んでみます。 Kaggleにユーザ登録する まずKaggleを開き、Registerボタンをクリックします。Googleアカウントでユーザ登録するか、メールからユーザ登録するか、お好きな方でどうぞ。 Kaggleは英語のみですので、DeepLなどで翻訳しながら進めると良いかもしれません。 コンペに参加する ユーザ登録できたら、「Competitions」を開き、おそらく先頭に表示されているであろう「Titanic」を選んでください。次のURLから直接アクセスしてもOK。 http
機械学習初心者がKaggleの「入門」を高速で終えるための、おすすめ資料などまとめ（2023年12月版）｜カレーちゃん
機械学習初心者がKaggleの「入門」を高速で終えるための、おすすめ資料などまとめ（2023年12月版） こんにちわ、カレーちゃんです。Kaggle GrandMasterです。 Kaggleはデータサイエンスに入門するのにとても適しています。ですが、英語の問題などがあり、入門するのが難しい。そこで、Kaggleの「入門」をこうすれば高速に完了できるというnoteを書きます。 同じタイトルの記事を、2020年8月にも書いたのですが、それから2年以上がたちました。それから、おすすめできる資料が増え、また、私が思う入門のコースもやや変わりましたので、更新をしたいと思います。 1.Kaggleに入門（はじめに取り組むと良い資料）Kaggleには、「タイタニックコンペ」という、練習用のコンペがあります。 これは、事故が起こったタイタニックの乗客のデータから、乗客の生死を予測するという、やりたいこと
Kaggleアドベントカレンダー2023の19日目の記事です． TL;DR データ分析未経験からkaggleでどんなことを学んだか 想像していたデータ分析と実業務とのGap kaggleやっていて良かったこと、kaggleでは学ばなかったこと はじめに 趣味でkaggleを始めたことをきっかけに、現在はデータ分析の仕事をしています。 Muj!rush!というアカウントでKaggleをしています。Kaggle expertです。 kaggleを始めてから3年程度経過したので(この3年間は、地球の公転が早まってんのかってくらい時間が経つのが早かったです)、これまでを振り返ることで、今後kaggleを始めてデータサイエンティストを目指すような方への参考になれば幸いです。 Kaggleと出会ったことで仕事への向き合い方や、今後のキャリアの考え方が変わったので、 僭越ながら一言だけ言わせてもらうと、
こんにちは、ウォンテッドリーでデータサイエンティストをしている合田(@jy_msc)です。先週末は atmaCup #16 に参加してモクモクとコードを書いていました。来週の日曜まで開催されているので、興味ある方はぜひ参加してみてください！ この記事は、Wantedly Advent Calendar 2023 の11日目の投稿です。前回の記事は「Rustを使ったOS開発 - 普段のRustと同じ様にOSを実装したい」でした。 私は5年前から Kaggle に参加しており、今年の6月にようやく Kaggle Grandmaster になることができました。ちょうど良い節目だと思うので、これまでのデータ分析コンペの参加実績を振り返ったり、データ分析コンペに夢中に取り組み続けてきたことで得られたであろう自身の変化に関して言語化してみます。 ※本記事で述べる内容は私自身の経験に基づく私見ですので
モデルの気持ちになって情報を与えよう
これは Kaggle Advent Calendar 2023 12/10 の記事です。 ディープラーニングでは何を考えたらいいのか？「モデルの気持ち」などと言いますが、もっと具体的にどういうことなのか？私も素人でわからないのですが、今年参加したコンペで読んだ solution を題材に「情報を与える」という観点からモデルの気持ちを推測してみます。 「それ、俺も書いたが？」みたいなのはたくさんあるかと思いますが advent calendar ゆえどうかご容赦を。記憶をたよりに雑に書いて調べ直していません。 Classification の根拠を segmentation で与えるG2Net 2 Detecting Continuous Gravitational Waves はノイズに埋もれたデータに重力波の信号が含まれているかを判定する二項分類のコンペでした。入力は spectrogr
【Kaggle AdC '23】米国の大学・企業でのKaggle実績の受け取られ方雑感 - tkm2261's blog
お久しぶりです。tkmです！ Kaggle AdC '23の6日目として「米国の大学・企業でのKaggle実績の受け取られ方雑感」についてつらつらと書いて行きたいと思います。 qiita.com 昨年Kaggledays Championship at Barcelonaでの優勝から、Kaggleとは少し離れてしまっていますが枠が空いているということで技術的ではないポエムですが投稿します！ 注意：これは私が体験した極めて主観的な感想であり一般化して受け取るのは危険です。 TL;DR 実績にそれほど効果はないが、獲得賞金を交えて話すとたまに効く。 正直、実績にそれほど効果はないしGMだからってそれで超すごい！みたいになることはない。 こっちの大学でも機械学習の授業でKaggleは一応習うが特にガチる人は見たことないし、教授としてもコンペと研究は違うと認識しているのでKaggleの実績単体で超
kaggle LLM コンペ 上位解法を自分なりにまとめてみた話｜Japan Digital Design, Inc.
お久しぶりです、三菱UFJフィナンシャル・グループ（以下MUFG）の戦略子会社であるJapan Digital Design（以下JDD）でMUFG AI Studio（以下M-AIS）に所属する蕭喬仁です。 厨二心をくすぐる名前でadvent calendarに登録していますが、もう直ぐ三十路ということでアカウント名の替え時が最近の悩みです。 さて、今年はOpenAIからリリースされたChatGPTを皮切りに生成AIが世間のトレンドとなっていますが、弊社でも「文章生成AIによる過去相場要約機能」の提供のような生成AIを用いたプロダクト開発やR&Dを進めています。中でも、検索を用いて外部知識を生成AIに埋め込むことでタスクの性能を高めるRetrieval-augmented Generation (以下RAG)は、大量の業務資料やマニュアルを保持するMUFGのような大企業にとっては非常に相
Kaggle Advent Calendar 3日目の記事です。 今回はKaggleなどのコンペで Metric Learning を試すときにとりあえず最初に実装するコードをまとめました。 UMAPを使ったembeddingの可視化とか faiss を使った検索とかはこの記事で扱ってないです。 1. Metric Learning って何？ 予測値じゃなくて特徴量間の距離に注目して学習する方法 同じクラス内ではなるべく近い距離になるように 違うクラス間ではなるべく遠い距離になるように もっと詳しくしたい人は Qiita 内でもいい記事たくさんあるのでどうぞ。 モダンな深層距離学習 (deep metric learning) 手法: SphereFace, CosFace, ArcFace #DeepLearning - Qiita Softmax関数をベースにした Deep Metri
初心者でも大丈夫！GitHub Copilot Chatで始めるKaggle画像系コンペ - Qiita
この記事は Safie Engineers' Blog! Advent Calendar 2023 の3日目の記事です！ はじめに セーフィー株式会社 で画像認識AIの開発エンジニアをしている水野です。2023年10月1日付で現職にジョインしたのですが、本業で語れるネタがまだ無いので趣味でたまに参加している Kaggle と流行りの生成AIを絡めた記事を投稿します。KaggleについてはKaggle Competitions Masterのランクを保持していますので、コンペに関する知見も織り交ぜながらお話しできればと思います。 早速ですが、このような悩みをお持ちの方はいないでしょうか？ Kaggleに登録し、定番のタイタニックコンペを終えて、次は画像系コンペに参加してみたいが、どのように進めたらいいのか分からない 公開Notebookをベースラインとして作業をしているが、コードの意味が理解
この記事は Kaggle Advent Calendar 2023 の2日目の記事です。 帰ってきた！Kaggle Tokyo Meetup！ connpass.com コロナ禍で2019年以来開催できなかった Kaggle Tokyo Meetup が約4年半ぶりに開催されました！この間に幾人もの方が Kaggle を始め、あるいは Kaggle を去り、また幾人もの方が tier を上げたことでしょう。 (僕は Master にはなれたものの未だに GM になれず...*1 ) 2か月前に行われた関東Kaggler会と同様に本当に久々に行われたオンサイトイベントであり、幸運にも参加することができました。非常に楽しくまた学びのある機会だったので、振り返りも兼ねて参加記(という名の感想)を書こうと思います。 因みに会場は奇しくも4年前に Kaggle Days Tokyo が行われたのと同
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
こんにちは、LayerX CTOの@y_matsuwitterです。最近はパン作りにハマっています。無心に小麦と酵母の声を聞くことで精神の安寧を求めています。 この記事は LayerXテックアドカレ2023 19日目の記事です。前回は @shota_tech が「Go の linter 雰囲気で使っていたから調べ直した #LayerXテックアドカレ」を書いてくれました。次回はEMオフィスの@serimaより「Engineering Officeの話」がポストされる予定なのでご期待ください。 ISUCON13 昨日開催のISUCONに参加してきました。とても楽しい問題ですし、これだけの人数での開催を支えている運営の皆さんには頭が上がりません。個人でもLayerXとしてもスポンサーさせていただきました。ありがとうございます！ 10年近く一緒に出場している.datというチームで、私はプロンプトを
Kaggleで銅メダル、銀メダル、金メダルを取るプロセスの違いや、具体的に何をすべきかについて質問がありました。 Twitterで回答を募集したところ、次の回答をもらいました。 過去に似たコンペ2,3コンペ漁って1~10位までの解法に目を通しつつ、現コンペのディスカッションを全部追って効くものを試すと銀メダルは取れるという肌感覚 https://t.co/si4GwbM4wD — 杏仁まぜそば (@an_nindouph) November 17, 2023 自分もこれと同じ感覚です。以下、少し説明します。 銀メダルを取るために必要なもの 銀メダルを獲得するために必要だと思ったのが、次の3つです。 最低限のデータ分析コンペの実力 データ分析について、最低限のみんなが知っていることを知っておくことが必要と言えます。「Kaggleで勝つデータ分析の技術」の知識があれば、十分に戦えると思います。
さまざまな業界でIT化やDX推進が叫ばれる中、企業にとって優秀なエンジニアの採用と育成は不可欠だ。しかし激化する人材獲得競争の中でも特に市場価値の高いIT人材を採用することは容易ではない。引く手数多のエンジニアは転職もしやすく、採用後の定着率に頭を悩ませる人事担当者も多い。そんな中、株式会社Ristには世界最大級のデータサイエンティストコミュニティ「Kaggle（カグル）」で最上位の称号「Grandmaster（グランドマスター）」を持つエンジニアが日本で最も多く所属している。優秀なエンジニアを採用し、育成する方法について、株式会社Rist代表取締役副社長の長野慶氏に話を聞いた。 世界最大級のデータサイエンティストコミュニティ「Kaggle」 Kaggleとは、全世界で1500万人以上が参加する、データサイエンティストのコミュニティだ。最大の特徴は「Competition（コンペ）」と呼ば
Kaggleで世界トップレベルになるための思考法。Grandmaster小野寺和樹の頭の中 - Findy Engineer Lab - ファインディエンジニアラボ
Kaggleとは、世界最大級の機械学習およびデータ分析のコンペティションです。コンペの主催企業や研究機関などがデータや分析のテーマを提供。その内容に基づいて世界中の参加者たちが機械学習モデルの精度を競います。 Kaggleにおけるランクの最高峰がGrandmasterであり、ゴールドメダル5枚とソロゴールドメダル（個人参加でのゴールドメダル）1枚がランク取得の条件となります。日本人でGrandmasterの称号を得ている数少ない方の一人が、NVIDIAの小野寺和樹（@0verfit）さんです。小野寺さんは「Kaggleに参加すること」を同社での仕事にしています。 どうすれば、スキルを向上させKaggleの上位ランクに入賞できるのでしょうか。今回は小野寺さんに、Kaggleに取り組むうえでどのような思考や行動をしているのかについてインタビューしました。 *…インタビューはオンラインで実施しま
kaggle LLMコンペ 上位解法まとめ
はじめに 科学分野の5択問題を解くLLMの精度を競うKaggle - LLM Science Exam というkaggleコンペが2023/10/11まで開催されていました。 コンペ終了後に公開された上位チームの解法からたくさん学びがあったので、備忘録も兼ねてまとめていきたいと思います。 コンペ概要 問題文（prompt）とA~Eの選択肢（option）が与えられ、それを解くモデルの精度を競うコンペでした。 テストデータはSTEM分野のWikipedia記事からGPT3.5に作成させたことがDataタブで明言されていました。 上位チーム解法まとめ 1. Approach 全てのチームが、問題の生成元となった記事をwikiテキストデータセットから検索（Retrieval）し、関連するテキスト（context）もモデルに入力するRAGと呼ばれるアプローチを採用していました。 RAGを行わないと
Image generated by OpenAI's DALL·E-3. はじめに こんにちは！ 突然ですが、Kaggleのハードルって高くないですか？特に初見だと、複雑なルールや大量のデータなどに圧倒されてしまう人も多いかもしれませんね。また、全て英語なので非英語話者にとってはそこもハードルを上げる原因になっていると考えられます。実際は慣れれば簡単なことも多いのですが、Kaggle慣れするまでにやや時間がかかるのも事実です。そこで、少しでもKaggleのハードルを下げたいと考えて本記事を執筆しました。 対象読者様 この記事は、以下のような方をメインに想定して執筆しました。 AI・データ分析・機械学習に興味があって、Kaggleに参加しようと思ったけどハードルが高くて躊躇している方 Kaggleに参加したはいいものの、ドロップアウトしてしまった方 Kaggleのハードルを乗り越えたい方
コンペURL どんなコンペ？ LLM（ChatGPT）が作った科学・技術・工学・数学分野の問題をKaggle notebookという限られた環境下（主にメモリ13GBと9時間以内に完了）でどのくらいの精度で解けますか？という自然言語処理系のコンペ。 以下に入出力例を示しています。 ・入力 （質問）バタフライエフェクトとは何ですか？ （A）バタフライ効果とは、巨大な球体が不安定な平衡点から... （B）バタフライ効果は、古典物理学における必要条件... （C）バタフライ効果は、古典物理学における物理現象の... （D）バタフライ効果とは、巨大な球体が不安定な平衡点から.... （E）バタフライ効果は、物理学における因果関係の概念の適用と.... ・出力 E A B （解答を可能性の高い順番に出力） 評価指標はMAP@3（Mean Average Precision）でした。 ベースライン解法
はじめに 10月からprimeNumberにジョインしましたwakama1994です。 今回は私が転職活動と並行して行ったデータコンペの参加について書きます。コンペ参加は敷居が高いと感じてましたが、チームを組むことで敷居が下がり、メンバーからも学べることも多く、今後も継続してコンペに出たいと思えるようになりました。 データコンペをこれから始めたい方に向けて「チームで参加したら参加ハードルも下がって、楽しい！」ことをお伝えできればと思っています。 コンペ出る前の経験値 前職（新卒入社）でも3年ほどデータサイエンスを業務で使用 プログラム上の結果を読み解くのはある程度理解できていたが、その根本のモデリングや処理のプロセスについては理解不足 ゆくゆくはモデリングについても理解すべき思ってはいたものの、行動には移せてない状況 なぜコンペに行き着いたのか？ 転職活動をやっていく中で、中途で採用される
AI Report 2023
Kaggle is the world’s largest data science community with powerful tools and resources to help you achieve your data science goals.
0.この記事を読む方へ 初めまして。私の名前は「Kag」です。私はPythonの勉強を開始して一年後にはKaggleとSignateでメダルを取ることが出来ました。この記事は、KaggleやSignateに興味がある人、始めたものの何をすればよいのかわかない人、Pythonの勉強を新たに挑戦したい人を意識した記事です。少しでも多くの人がKaggleやSignateに興味を持って、コンテストをさらに盛り上げることにつながれば本望です。 目次 1.プログラミングとの出会い 2.プログラミングへの挑戦のきっかけ 3.初期の挑戦と乗り越えた困難 4.コンテスト初参戦からメダル獲得まで 5.一年間の学び 6.初学者へのアドバイス 7.結び 1.プログラミングとの出会い 初めに私のスペックを紹介します。プログラミング初心者が～～系の記事はたくさんありますよね。初心者といいながらイメージしていた初心者と
Kaggle GrandMaster 振り返り
Kaggle GrandMaster になったら振り返りを書くという風習があるらしい。検索するとたくさん出てきてどれも面白い (yu4u さんの振り返り, and references therein.) 機械学習で競う Kaggler と一口に言ってもテーブルデータに強い人、画像に強い人、なんでも強い人、AtCoder も強くてアルゴリズムと実装に強い人などいろいろいる。私は物理に強い（そしてそれ以外はそんなにできない）人というちょっとマイナーな GrandMaster になった。 テキサス大学で宇宙物理の数値計算で PhD をとり、3年任期のポスドクとして世界を転々として、2019年はローマにいた。研究が冴えないので、大きなプロジェクトでコードを書いて支援するという仕事をしていたけどよくある職ではないので機械学習をオンライン講座で学んだりしていた。自分で実際に使ってみないと身につかない
修正履歴 2023/8/21: 初版 2023/9/5: CUDNNのインストールを追記 はじめに 最近よく耳にするpythonパッケージ管理ツール rye を使って、Kaggleとほぼ同じML開発環境を構築しようとがんばってみました。 結論、LightGBM、XGBoost、Catboost、pytorch、Polarsなどのライブラリのインストールはスムーズにできましたが、LightGBMのCUDA対応バージョンやRADIPSのcudfなどうまく導入できないライブラリも一部ありました。 （私の知識不足によるものな気もするので詳しい人いたらアドバイスください） ryeを使って(できるだけ)Kaggleと同じ環境を再現してみる 実行環境 OS：Ubuntu2204 ryeのバージョン: 0.11.0 (インストール手順は後述) 1. Kaggleのライブラリのバージョンを確認する Kagg
Kaggleで学んだBERTをfine-tuningする際のTips⑥〜LLMでも使える学習効率化編〜 | 株式会社AI Shift
こんにちは！ AIチームの戸田です 本記事では私がKaggleのコンペティションに参加して得た、Transformerをベースとした事前学習モデルのfine-tuningのTipsを共有させていただきます。 以前も何件か同じテーマで記事を書かせていただきました。 Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編Kaggleで学んだBERTをfine-tuningする際のTips②〜精度改善編〜Kaggleで学んだBERTをfine-tuningする際のTips③〜過学習抑制編〜Kaggleで学んだBERTをfine-tuningする際のTips④〜Adversarial Training編〜Kaggleで学んだBERTをfine-tuningする際のTips⑤〜ラベルなしデータ活用編〜 今回は学習効率化について書かせていただきます。このテーマは以前書かせ
はじめに はじめまして、tkです。初記事です。 Kaggle Grandmasterになることができたので、私のコンペの取り組み方や振り返りを書こうと思います。取り組み方などがKaggleをやっている方のお役に立てると嬉しいです。 背景 大阪の国公立大学の情報系M1で、画像系のコンペを中心に参加しています。 2021年5月にindoorコンペで初メダル(銅)を取り、2022年1月にKaggle Masterに昇格、2023年6月にKaggle Grandmasterになりました。 kaggle profile コンペの取り組み方 序盤 (コンペ開始~終了1ヶ月半) ベースラインを作る シンプル+学習に時間がかかりすぎない手法で 複雑にしすぎると、何が効いているのかよくわからなくなる notebook、discussionを読む 信頼できるCVを作る 信頼できるCVを作れないと、今後何もでき
こんにちは、Wantedlyでデータサイエンティストをしているひぐ(@zerebom_3)と申します。 1年ほど前に、社内の先輩(@potsbo)との1on1で、"仕事ができるようになりたくて高い目標(ex. 業務外で毎週X時間勉強する)を建てるが、結局続かず、能力も伸びない。自己肯定感も下がってしまう。どうしたら良いか。😭"と相談しました。 そのとき、”意志力に頼らず、仕組みを使って習慣をコントロールできると成果を上げられるようになるよ"とアドバイスをいただき、隔週で自分の習慣の作り方についてレクチャーしてもらいました。 その結果、仕事・業務外でもアウトプットの量を増やし、能力を身につけられたと感じています。例えば、業務外においては、2023/01 ~ 07の7ヶ月で下記のようなインプット・アウトプットができました。 - Zennへの記事執筆7本 - 外部登壇2本 - Kaggle 銀
はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kaggleで学ぶ系列データのための深層学習モデリング
自前GPUを使ったKaggle環境をローカルのVSCode（Cursor）に作るのに手こずった話 - Qiita
競技としてのKaggle、役に立つKaggle
Kaggle LLM Prompt Recoveryコンペまとめ
ベイズ統計でKaggleを解いてみる - Qiita
KaggleのNLPコンペで初手に使える可視化 〜BERTopicを用いた文書クラスタリングと可視化〜
Kaggle Image Matching Challenge 2023を振り返る - Qiita
第2回 金融データ活用チャレンジ -効率的なデータ分析・予測を行えるコードの紹介- - Qiita
Kaggle Grandmasterになるまでの振り返り - monnuの日記
Kaggle learnで学ぶ機械学習の基礎（初級編） - Qiita
趣味でKaggleを始めたことをきっかけにデータサイエンティストになった話 - Qiita
Kaggle Grandmaster への道のりで得られたもの | Wantedly Engineer Blog
最近のMetric Learningの始め方（コンペを見据えて） - Qiita
Kaggle Tokyo Meetup 2023 参加記 - 俵言
Kaggle_LLMコンペの攻略法を解説.pdf
ISUCON13にLLM活用担当で参戦しました - LayerX エンジニアブログ
Kaggleで銅・銀・金メダルを取るプロセス｜カレーちゃん
優秀なエンジニアをどう集めるべきか？日本で最も多くの「Kaggle Grandmaster」を抱えるRistの担当者に聞いた、エンジニアの採用と育成のヒント｜@DIME アットダイム
Kaggleのハードルを下げたい！ - Qiita
Kaggleコンペ（LLM Science Exam）の振り返りと上位解法まとめ
コンペ素人でもチームを組めば半年でKaggleとSIGNATEでメダルが取れた話 - Qiita
プログラミング初心者が1年でKaggle・Signateでメダルを取った話 - Qiita
ryeでKaggleとほぼ同じML開発環境を構築してみた
Kaggle Grandmaster になるまでの振り返り - tkの日記
行動モデルに沿った意志力に頼らない良い習慣の作り方｜ひぐ
「Kaggleで勝つデータ分析の技術」から見る実用的な機械学習の知見