今日(2022/06/21)の朝9時がKaggleのコンペ終了の時間。結果は即座に表示されるので、チームメンバーと見守る。結果はPublic LB(サンプルで抽出されたスコア)順位と変わらずの1975チーム中8位で金メダル。Kaggleコンペ初参加でチームに恵まれた幸運の結果であった。 チームの解法は英語では公開されていて、日本語でも別途公開されると思うので、ここでは解法ではなく主に初参加の感想を。40日ぐらい前に特許と自然言語処理処理コンペであるU.S. Patent Phrase to Phrase Matchingをやらない？とAota氏に誘ってもらい始める。Kaggleは初学者用の本を読んで練習用タイタニックコンペをやった程度の知識だったので、より具体的な進め方やチームで大切にする時の考え方を教えてもらう。 ツールとしては情報共有にNotion(主にboardでkanban)を使い

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。テクノロジーグループ サイエンス統括本部で画像認識領域の技術開発や応用を担当している土井です。 ヤフーは、特許庁が初めて開催した「AI×商標 イメージサーチコンペティション」において、第1位を獲得しました。（プレスリリース） 本記事では、社内の画像検索に関わる有志で参加した、「AIx商標イメージサーチコンペティション」（特許庁主催、Nishika株式会社開催／以降、本コンペまたはコンペとする）の概要と弊チームの優勝解法について紹介します。 目次 コンペの概要 コンペの結果 基本的なアプローチ（類似画像検索について） ソリューション概要 データセットの正解ラベルの修正 画像をグループ化し同一グループの画像を正解画像とする

kaggleなどでのテーブルコンペの公開ノートブックではそのノートですべてを完結させるという意味でもノート内で特徴量を作成していることが多いです。 しかし、長期間のコンペになると実験数は増えるし、処理に時間がかかる特徴量を使うケースも増えてきます。実験のたびに特徴量を計算するのは地球にやさしくない。。。 この問題に対するシンプルな対策は作った特徴量をファイルで保存しておいて読み取るだけにすることだと思います。 具体的な方法は kaggle 特徴量 管理 でググれば素晴らしい記事がいくつも出て来ると思います。 今回は特徴量毎に数値特徴量かカテゴリ特徴量かの情報も欲しくなったのでその情報も一緒に管理できるようにしていたのでその管理方法を紹介したいと思います。 そのまま誰かの役に立てば幸いですし、何かフィードバックが得られれば嬉しいです。 内容 trainの特徴量、testの特徴量、数値特徴量名

情報サービスユニットの増田です。普段は自然言語処理やBtoBプロダクトのユーザログの分析などを担当するデータサイエンティストとして仕事をしています。 本記事では、世界最大級のデータサイエンスコミュニティプラットフォームである「Kaggle」にて2-5月に開催されていた自然言語処理コンペティション「NBME - Score Clinical Patient Notes」 に弊社のデータサイエンティスト3名（ほか、外部の機械学習エンジニアの方1名）でチームを組んで参加した体験談を紹介します。 コンペティション概要 このコンペティションのホストであるNBME（National Board of Medical Examiners）は、米国で医師免許試験を実施している機関です。受験者はその免許試験において、仮想的な患者が発言した内容に基づきカルテを記述します。そのカルテの採点は現状人手で行っている

それぞれのKaggleとの出会い ――おふたりともKagglerということで、まずはKaggleとの出会いについて教えてください。 棚橋：はじめてKaggleに触れたのは大学院生の頃です。研究室の同期がやっていて、機械学習が流行っていたタイミングだったこともあり、「Titanic」という有名な問題をネットの解析記事などを参考に触り始めました。その頃はまだモデリングはまだしも、Pythonすら書いたことがなかったのですが、プログラミングが楽しいというのと、データから何かを予測するということにすごく感動を覚えた記憶があります。 そこからしばらく触っていなかったのですが、日立に入社して機械学習関連の研究者になったことをきっかけに再度チャレンジしたいと思い2019年12月頃から参加するようになりました。 ――そのときは、どのテーマに参加をされたのですか？ 棚橋：「2019 Data Science

アンドパッドのデータ基盤チームに所属している成松です。 先日までkaggleで開催されていたH&M Personalized Fashion Recommendationsにて、私が参加したチームが2,952チーム中22位で銀メダルを獲得しました！ そこで、本記事ではH&Mコンペの簡単な概要説明と私個人のSolution（Private 36位相当）について紹介します。 コンペ概要 本コンペは、指定されたテスト期間中に購入されそうなH&Mのファッションアイテム12個をユーザごとに予測し精度を競うという内容でした。データとしては、ユーザや商品の属性（ユーザ年齢、商品カテゴリなど）を記したメタデータ（customers.csv, articles.csv）とトランザクションデータ（transactions_train.csv）、そして商品の画像データが与えられました。また、本コペではMAP@1

2022/MBME 解法まとめ 概要 お題 目的 患者を診療する際にメモ書きする技術の習得と評価 今回の課題 試験の注釈にある臨床概念と、メモにある表現を対応付ける手法の開発 「食欲不振」→「食事量が少ない」「服がゆるい」 具体例 実際の形式だが文章は異なる（実際の文章はRule AcceptしてDataタブから見られる） 医療メモ: 20yo male with nauseous and abdominal pain since this morning, ate raw oysters yesterday... features: Nausea label: ["nauseous", "abdominal pain"] 必要性 現状の手法とその課題 実際にあった試験（USMLE）では以下の流れで行っていた 特定の臨床例を話すように訓練した人と対話し、メモを書く 訓練を受けた医者の採点者

2022年2月から4月にかけてkaggle competition Happywhale – Whale and Dolphin Identification が開催され、Preferred Networksのメンバー2名:山口(@charmq)、阿部( @knshnb)からなるチーム Preferred Dolphinが優勝しました。また、山川(@Yiemon773)が10位でソロ金メダルを獲得しました。 今回のコンペは1,588チームが参加し、kaggle世界ランクtop10のうち過半数が参加しているなど、非常に競争が激しいものとなりました。 本記事ではこのコンペの概要と我々のソリューションについて紹介します。 コンペの概要について 本コンペでは、クジラやイルカの写真から各個体を識別するモデルの精度を競いました。 従来人手で莫大な時間をかけて行われていた個体識別を自動化することにより、

はじめに 画像からクジラの個体識別を行うHappywhaleというkaggleコンペが2022/4/19まで開催されていました。 コンペ終了後に公開された上位者の解法からたくさん学びがあったので、備忘録も兼ねてまとめていきたいと思います。 上位者解法まとめ 1. Datasets オリジナル検出器 多くの方が自分で学習させた検出器を使ってクジラ領域を切り出したデータセットを使用していました。 全身領域や背ビレ領域を切り出した公開データセットがありましたが、同じ領域を切り出すにしても、検出器が異なると多様性が生まれて精度が上がったようです。 公開されているデータセットの予測値をGTとして検出器を学習し、予測が外れているデータだけアノテーションし直して再学習を繰り返す工夫をしているチームもありました（引用：4th solution） bounding box mix augmentation

コモディティ化するKaggleのTier　差別化のポイントは？ 大久保渉太氏（以下、大久保）：では次の質問に行きます。「昨今、特に日本においてKaggleのTierは、コモディティ化しつつあるように見えます。これについてどう思われますか？　そこで大切になる、Tierだけでは表せない差別化ポイントは何だと思いますか？」。これは誰が答えますか？ 横尾修平氏（以下、横尾）：では僕が答えます。 （一同笑） 大久保：お願いします。Tierがコモディティ化しているという話ですね。 横尾：コモディティ化しているというのは、事実としてあると思っています。Grandmasterの数は、確か日本だとまだ20名ぐらいしかいない気がするので、まだまだ大丈夫なんじゃないかなと思います。マスターになってくると、今は相当数が増えているという印象があって、そうなると差別化する要素が必要になってくるのではないかなと思います

機械学習モデルの精度を競うコンペティションプラットフォーム「Kaggle」 大久保渉太氏（以下、大久保）：本日の流れです。本日はこれらの目次の内容を通して、みなさんにKaggle Grandmasterの仕事や働く環境を一歩踏み込んで紹介できればと思っています。まずは私たちが取り組んでいるKaggleの紹介をしたいと思います。 Kaggleをご存じの方もけっこういると思いますが、機械学習モデルの精度を競うコンペティションのプラットフォームです。このKaggleに参加している人をKagglerと呼びます。DeNAには、Kaggle Grandmaster4名など、世界トップクラスのKagglerが数多く在籍しています。 図のように、Kaggleではスポンサーが出した課題に対して参加者が機械学習の予測モデルを提出してそのスコアを競っています。成績上位者であるKaggle Grandmaster

7名のKagglerの方にアンケートにご協力いただき、2021年に面白かったコンペと論文を教えていただきましたのでその結果を紹介します。 2022年8月31日以降、Tellus OSでのデータの閲覧方法など使い方が一部変更になっております。新しいTellus OSの基本操作は以下のリンクをご参照ください。 https://www.tellusxdp.com/ja/howtouse/tellus_os/start_tellus_os.html 2021年も数多くのデータ解析コンペが開催され、興味深い論文が多く発表されました。 毎年Kaggle等のデータサイエンスコンペティションに取り組んでおられる人達にアンケートを実施し、その年の記事をまとめてきました。 そして本年も7名のKagglerの方にアンケートにご協力いただき、2021年に面白かったコンペと論文を教えていただきましたのでその結果を紹

はじめに2022年4月5日からKaggle（※世界最大のデータ分析コンペティションプラットホーム）にて、東証の株価を予測して運用パフォーマンスを競うJPX Tokyo Stock Exchange Predictionが開催されている。このコンペティションの主催者は東証を運営する日本取引所グループ（以下JPX）そのものであり、ファンドやリサーチ会社の主催するコンペティションよりも「公式・公認」的な感覚がより一段強いものとなっていると言えるだろう（公式プレスリリース）。 JPXは本コンペをJ-Quantsデータ分析コンペティション第3弾と呼称している。昨年にSignate（※日本国内のデータ分析コンペティションプラットホーム）で開催された2つのJ-Quantsコンペに続く、3番目のコンペティションとなる。 ハッキリと言及するが、このコンペティションは現在資産運用を行っている個人投資家達、特に

2022/04/05 JPX総研 個人投資家向けデータAPI配信サービス「J-Quants API」（ベータ版）の提供及びアーリーアダプター募集のお知らせ 株式会社JPX総研（以下「JPX総研」という。）は、プロジェクト”J-Quants”（以下、「本プロジェクト」という。）にて、データサイエンスに興味のある個人の方向けに、ITやデータ分析を活用した取引を促進するための環境を提供しております。本プロジェクトの一環として、昨年開催した株式データ分析コンペティションにおいて提供したヒストリカル株価・財務等のデータAPI配信が好評だったことを踏まえ、この度、J-Quants API（ベータ版）（以下、「本サービス」という）として提供することといたしましたのでお知らせいたします。 本サービスは、本番稼働前のベータ版として無償で提供することとし、ベータ版参加ユーザの皆様の声を反映させながら本番サービ

1. kaggleのdatasetのgcsのリンクを取得する kaggleのnotebookで以下を実行する from kaggle_datasets import KaggleDatasets GCS_PATH = KaggleDatasets().get_gcs_path() print(GCS_PATH) notebookの作成は,マウントしたいデータセットのNew Notebookから作成する (これはtimmの例) 開催中のコンペのdatasetをマウントしたい場合は，コンペのページからNew Notebookする 2. colabでマウントする 2.1. gcpの認証をする

社内の勉強会で発表した資料になります。 Kaggleの「Feedback Prize - Evaluating Student Writing」コンペについての資料です。 工夫できる点や勉強になる点が多く、面白いコンペだったと思います。 コンペについての概要、自身の解法、上位解法のまとめ、加えてKaggleで使えるTIPSについて紹介しています！