LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog AI開発室のTrustworthy AIチームに所属している綿岡です。普段の業務は言語モデルの信頼性向上のための技術開発で、特に有害文検知に関する技術開発に注力しています。昨今の言語モデルの急速な発展に伴い、有害文検知の技術も急成長しており、Perspective API（有害文を検知するAPI）を提供するJigsawは有害文検知コンペティションを2018年から毎年開催しています。一方、我々Trustworthy AIチームは、日本語での有害文検知モデルの構築は今後最重要課題となるだろうと常々考えてきました。そのことから有害文検知の最先端に挑戦するとともに知見を深めることを目的として、2021年11月からKaggleで開催され

こんにちは！ 今回の記事はデータ基盤チームに所属しているエンジニアよりお届けいたします。 ANDPADのデータ基盤チームはプロダクト利用状況の分析、分析基盤の整備、機械学習技術のプロダクトへの導入検討など主にデータに関わる業務を担当しています。 チームメンバーには技術研鑽に積極的な方が多く、雑談の際はプライベートで行っている分析の話やデータ分析の大会の話で盛り上がることがあります。 本記事では過去に参加したKaggleコンペティションについての話を紹介させていただきます。チームの雰囲気について感じていただけますと幸いです。 今回参加したコンペティション https://www.kaggle.com/c/lux-ai-2021 Lux AIというコンペティションで、強いゲームAIを開発することが目的となります。 Lux AIは二人で行うターン制の対戦ゲームです。それぞれのプレーヤーはユニット

Hoping to win a machine learning competition in 2022? Here’s what you need to know. I collaborated with ML Contests, using their database of over 80 competitions that took place in 2021 across Kaggle, DrivenData, AICrowd, Zindi, and 13 other platforms. Wherever the information was available, we categorized winners to figure out what made them win. PlatformsWe were able to gather 83 competitions ac

連載目次 前回は、Kaggleが提供するkaggleパッケージをインストールして、Visual Studio Code（以下、VS Code）の統合ターミナルからコマンドラインを使ってKaggle APIにアクセスしてみました。今回はkaggleパッケージを使ってPythonのコードからKaggle APIにアクセスしてみます。 意見が違って面白いですが、私の場合は、結局、リーダーボードなど見たりするので、基本的な作業はKaggle Webサイト上で行うのが一番快適だと感じています。 一方で、「Submissionの自動化」だけに限定してKaggle APIが便利だと感じています。Submission時のメッセージもコードで自由にカスタマイズできるので、コマンドよりも扱いやすいです。Submissionは何度も行う作業ですが、データセットのダウンロードなどは一度切りの作業なので、Kaggl

kaggleパッケージをインストールして、VS Codeの統合ターミナルからKaggle APIにkaggleコマンド を使ってアクセスし、ローカル環境でKaggleノートブックを実行してみましょう。

カレーちゃん🍮 @currypurin 単純にLBを登るのが楽しかったり、仮説をたてて、その仮説がやっぱりなーという時が楽しいかな自分の場合。仮説の精度も徐々に上がってくるし。 地道な検証は、面倒だったりするけれど、地道な検証を効率的やろうとして取り組むのはそんなに嫌いではない。 twitter.com/currypurin/sta… 2022-02-11 22:44:27 カレーちゃん🍮 @currypurin あとは、Kaggleミートアップに行った時に、上位の人がすごくて憧れたのでということはあると思う。 それで自分も時間を投入すればそこそこやれるとは思ったし、なので飛び込んだ的な。 そんで、全力で取り組んでも、上には上がいる懐の深さは良いと思う。 2022-02-11 22:46:39

Titanicから始めよう：GridSearchCVクラスを使ってハイパーパラメーターチューニングしてみた：僕たちのKaggle挑戦記 scikit-learnが提供する分類器の使い方と、GridSearchCVクラスを使ってそれらのハイパーパラメーターをチューンする手順を見てみましょう。

はじめに 表題そのまんまですが、深層学習を勉強し始めてすぐに無謀にもkaggleの画像コンペに挑戦し、コンペ終了時点で学習期間3か月ちょっとの初心者チームが、銅メダルを取る（116位/1324）に至るまでの記録を書いていきます。 初心者がどうやってコンペに取り組んだかの記録がメインの話で、これからkaggleに参戦してみようかと思ってる人やチームを組もうか迷っている人の背中を後押しすることを目指した記事としています。 手法的な部分で参考になるようなものは少ないと思いますので、予めご了承ください。 どんなコンペに参加したか SIIM-FISABIO-RSNA COVID-19 Detectionという画像コンペに参加しました。コンペの開催期間は5月18日から8月10日まででした。 肺のレントゲン画像に対して、新型コロナ感染症の罹患状況を表すnegative、typical、indetermi

Ray Tuneというハイパーパラメーターチューニングパッケージを使って、隠れ層や学習率などをチューンしてみました。その結果は果たして？（やっちゃダメなこともやっちゃったよ）。 連載目次 前回は、特徴量エンジニアリングのまねごとをしてみようということで、Titanicコンペティションの元データを加工して、新たな特徴量を作成して、それらを使ってPyTorchで定義した線形回帰モデル／3層の全結合型DNNモデル／4層の全結合型DNNモデルの学習を行い、テストデータの生死予測をしてみたのでした。 その結果はあまり芳しいものではありませんでした。スコアは0.77033。前々回にEDAのまねごとをしたときには、何かのモデルにデータを入力するのではなく、EDAで発見した「女性は全員生存→男性で旅客運賃が高い人は生存（そんな人はいなかった）→男性でチケットクラスが1、かつ若年層か高齢層の人は生存（1人だ

Kaggle Grandmasterへの軌跡 はじめに 嗚呼、憧れの。 Kaggle Grandmasterに…… ……というわけで、なってしまったので、Kaggleとの出会いを含めて記念にポエムにしようと思いました。 Kaggleをはじめる前 Topcoder Marathon Matchesという、中長期ヒューリスティクスプログラミングコンテストの分野で、なぜか初参加から2位、1位、1位とよく分からない順位をつけ、最初の2試合だけでRedcoderになったりしつつ、TCO(Top Coder Open)という毎年1回だけ現地開催される大会決勝に大会側に渡航費用を出してもらって計3度決勝に進出しているうちに、当時全盛期だったTopcoderは衰退期を迎えもはや参加の価値が薄れつつあり、すれ違いでコンテストでもっと勝つために再入学した大学院の博士後期課程が原因でTopcoderをはじめとし

「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。能見氏は、「Time-series code competition」で生き残るために重要な4つのポイントについて発表しました。全2回。後半は、コード構成とエラーハンドリングについて。前半はこちら。 コード構成とデバッグ 能見氏（以下、能見）：次はコード構成とデバッグの話です。Time-seriesコンペに関して、Kaggle環境でコードを書き切るのは、コード量が多くなるのでけっこうつらくなりがちです。そのため、手元で書いてGitで管理することをおすすめします。ただ、Time-seriesコンペでは信頼性の高い、わりと複雑なコードを書かなければいけないので、デバッグやテストの管理がしやすいように書きたいというのもあるかなと思っています。 自分がやりやすい方法で書くの

「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。能見氏は、「Time-series code competition」で生き残るために重要な4つのポイントについて発表しました。全2回。前半は、Train/Testの両対応と状態管理の設計について。 自己紹介 能見氏：それでは「Time-series code competitionで生き残るには」というタイトルで発表したいと思います。 まずは自己紹介します。能見と申します。主に「@nyanpn」というIDでいろいろなところで活動しています。大阪で10年ぐらい開発を行っているソフトウェアエンジニアです。 Kaggleでは専らテーブルデータのコンペにばかり出ています。なぜか、スポーツとサイエンス系のコンペにばかり縁があって、（スライドを示して）直近に出たコンペ5個がこ

Kaggle Masterによるこれまでに参加したデータ分析コンペの振り返り こんにちは、AITC 製品開発グループ 阿田木です。 私は現在、業務でAI製品の開発に携わっております。さらに、趣味としてもKaggle等のデータサイエンスのコンペに参加して日々技術を磨いております。 今年の6月でKaggleに出会ってから約1年が経過し、目標であったKaggle Masterになることができました。この節目に、Kaggle Masterになるまでの道のりを振り返っておこうと思います。 本記事では技術的な内容にはあまりふれておりません。ポエムみたいな感じの自分語りとなっている点ご留意お願いいたします。 以下のような構成となっておりますので、気になったところだけでも、ご覧いただければ幸いです。 Kaggleとは？ Kaggleとの出会い 参加コンペ①: メラノーマコンペ SIIM-ISIC Mela

皆さんこんにちは お元気でしょうか。冬だというのに、GPUと暖房で半袖装備でも過ごせています。 今年、長きにわたるMaster生活の終演を迎え、ようやくGrandmasterになることができました。 そこで、Grandmasterになるまでの経験をこちらに書き記しておこうと思います。 この記事はKaggle AdventCalendar2021カレンダー2、25日目になります。 qiita.com 著者の背景 Kaggleへの取り組み 1-3年目 4年目 IEEE's Signal Processing Society Avito Demand Prediction Challenge Home Credit Default Risk 5年目あたり 6年目 Global Wheat Detection 7年目 Shopee - Price Match Guarantee Hungry Ge

前回に引き続きEDAと特徴量エンジニアリングを行って、今回は最後にできあがったデータフレームで学習をしてみましょう。目指せ！　スコアアップ！ 連載目次 こんにちは。Deep Insider編集部のかわさきです。冬至も過ぎて、これからはもう毎日昼間の時間が伸びて春になるのを待つばかりになりましたね。と思う冬至の翌日の朝6時です（「こんにちは」なのか「おはようございます」なのかはともかく眠いです）。 そんな人生における些細（ささい）なことはさておいて、前回は、EDA（探索的データ解析）のまねごとをしてみたところ、ディープニューラルネットワーク（DNN）に何も考えずにデータを突っ込むよりもよいスコアが出てしまったというお話をしました。今回は、その続きとなりますが、CSVからpandasのデータフレームに読み込んだデータに手を加えて、独自の特徴量を作ってみることにします。いわば特徴量エンジニアリン

この記事について この記事は Kaggleアドベントカレンダー の21日目の記事です。 昨日は u++ さんの【Weekly Kaggle News 2周年】クリック記事ランキング2021 でした。Transformer 強し。明日は @wokassis さんのワナビーからKagglerに〜コンペ所感〜です。 本記事では、2021年の NLP コンペの上位ソリューションから共通して使われている手法や方針を紹介します。 新しくNLPコンペに取り組む際に、基本的なことは試して次に何をすればよいかわからない、といった初学者向けに初期方針として参考になるかと思います。ある程度コンペに参加している人には「当たり前やろ〜」といった内容かもしれません。 2021年 NLP コンペ概要 2021年に終了したコンペは Coleridge Initiative - Show US the Data, Comm

Kaggle Advent Calendar 19日目の記事です。Kaggle Advent Calendar初参加ということで、お手柔らかにお願いします。 qiita.com 前日の記事は sinchir0 さん 日本は他の国のKagglerよりTwitterが活発なのか - sinchir0のブログ 翌日は upura さん 【Weekly Kaggle News 2周年】クリック記事ランキング2021 - u++の備忘録 です。 いきなり余談かつ私事で申し訳ないですが、日頃から大変お世話になっているお二人に挟まれて嬉しさと恐縮さがないまぜになっております。 申し遅れました、Kaggle Competitons Expertの増田と申します、よろしくお願いします。お笑い鑑賞が好きで、本日のM-1グランプリ決勝もとても楽しみです。 この記事は何？ 一言で言うと、 NLPコンペにおける「初

こんにちは！ Lux AI何もわからなくて辛いてょです。まんまと見た目の可愛さに釣られました。 本記事はKaggle Advent Calendar 20215日目の記事です。タイトル通り先日終了したkaggleのGoogle Brain - Ventilator Pressure Predictionコンペの上位解法をまとめます。 内容は下記です Brainコンペの上位解法をまとめる 実際に動かしてみてコンペ期間の自分のベストモデルとの比較をする やらないこと PIDコントローラーの逆解析については今回は扱いません 1位 ①simple LSTM(LB0.1209) Task - regression Model - 4層LSTM(input 9, hidden512) SiLU Features - u_in,u_out, time_step, RとCのOHEの計9個 学習してるうちに

「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。野澤氏は、Google Colabとvscodeを用いて作るデータ分析環境とその運用について発表しました。 機械学習の勉強環境の1つ「Google Colaboratory」 野澤哲照氏（以下、野澤）：「Google ColabとVSCodeを用いたデータ分析環境運用Tips」ということで、野澤が発表します。 最初から免責で申し訳ないのですが、今日紹介する方法はGoogle側が推奨している方法ではないので、急に使えなくなる可能性もあります。そこだけご了承ください。 今日話す内容ですが、ざっくりGoogle Colab（Google Colaboratory）とVSCodeを紹介して、最終的にどういう環境が作れるかというところと、環境構築手順・運用時のポイントなどを話