並び順

ブックマーク数

期間指定

  • から
  • まで

241 - 280 件 / 515件

新着順 人気順

kaggleの検索結果241 - 280 件 / 515件

  • 日経のデータサイエンティスト3名(+外部1名)で自然言語処理コンペに出た話 — HACK The Nikkei

    情報サービスユニットの増田です。普段は自然言語処理やBtoBプロダクトのユーザログの分析などを担当するデータサイエンティストとして仕事をしています。 本記事では、世界最大級のデータサイエンスコミュニティプラットフォームである「Kaggle」にて2-5月に開催されていた自然言語処理コンペティション「NBME - Score Clinical Patient Notes」 に弊社のデータサイエンティスト3名(ほか、外部の機械学習エンジニアの方1名)でチームを組んで参加した体験談を紹介します。 コンペティション概要 このコンペティションのホストであるNBME(National Board of Medical Examiners)は、米国で医師免許試験を実施している機関です。受験者はその免許試験において、仮想的な患者が発言した内容に基づきカルテを記述します。そのカルテの採点は現状人手で行っている

      日経のデータサイエンティスト3名(+外部1名)で自然言語処理コンペに出た話 — HACK The Nikkei
    • Titanic終了後の壁 - Qiita

      こんにちは。shu421という名前でkaggleに参加しています。初めに伝えておきますが、この記事は独断と偏見の塊です。あくまで私の考えにすぎないので、一つの意見として頭の片隅にでも置いていただけたら嬉しいです。 対象読者 ・Titanicコンペでsubmissionだけはしてみたが、現行コンペの進め方がわからない方 ・kaggleとは何か知っているが、進め方がわからない方 今回お伝えすること ・Titanic終了後、初めて参加する現行コンペへの具体的な取り組み方 ・メダルを持っていない人向けの具体的なコンペの進め方 ・コンペのモチベーションの保ち方 目次 ・結論 ・軽く自己紹介 ・Titanicコンペ終了後の壁 ・初メダルを取るまでの軌跡 ・[本題]現行コンペの進め方 ・モチベーションの保ち方 ・まとめ ・最後に 結論 kaggleでメダルを取るためには、 ・全ての公開ノートブックとディ

        Titanic終了後の壁 - Qiita
      • Kaggle テーブルデータコンペで使うスニペット・Tips 集 - Qiita

        はじめに Kaggle テーブルデータコンペでよく利用するEDA・特徴量エンジニアリングのスニペットをたくさん集めました。間違いやもっとこうした方がいいなどあればコメントください。 Kaggle を始めたばかりの方はまず 実践Data Scienceシリーズ PythonではじめるKaggleスタートブック を読むことをお勧めします。ある程度慣れている方は Kaggleで勝つデータ分析の技術 を読むとよいでしょう。 また、Python によるデータ処理周りに不安があるひとは、事前に Python実践データ分析100本ノック や DS協会のデータサイエンス100本ノック(構造化データ加工編 を一通りこなしておくと基本的なデータ操作については学べると思います。 前提 以降全て Notebook 上での実行を想定。 ライブラリ import os import json import multi

          Kaggle テーブルデータコンペで使うスニペット・Tips 集 - Qiita
        • kaggle NBME解法まとめ

          2022/MBME 解法まとめ 概要 お題 目的 患者を診療する際にメモ書きする技術の習得と評価 今回の課題 試験の注釈にある臨床概念と、メモにある表現を対応付ける手法の開発 「食欲不振」→「食事量が少ない」「服がゆるい」 具体例 実際の形式だが文章は異なる(実際の文章はRule AcceptしてDataタブから見られる) 医療メモ: 20yo male with nauseous and abdominal pain since this morning, ate raw oysters yesterday... features: Nausea label: ["nauseous", "abdominal pain"] 必要性 現状の手法とその課題 実際にあった試験(USMLE)では以下の流れで行っていた 特定の臨床例を話すように訓練した人と対話し、メモを書く 訓練を受けた医者の採点者

            kaggle NBME解法まとめ
          • 【Kaggleコンペふりかえり】Riiid! Answer Correctness Prediction | 株式会社AI Shift

            TOPTECH BLOG【Kaggleコンペふりかえり】Riiid! Answer Correctness Prediction こんにちは AIチームの戸田です 本記事では本日終了した、KaggleのコンペRiiid! Answer Correctness Predictionのふりかえりを行いたいと思います。 開催中のテーブルデータコンペにまともに取り組んだのが初めてなので、もし間違いなどございましたらご指摘いただければと思います。 コンペ概要 オーナーはRiiidLabsという韓国のAIスタートアップで、Santa TOEICというTOEICの学習アプリを提供しています。今回扱うデータもこのアプリのものだと思われます。 コンペティションでは、ユーザーが出された問題に正解できるかを、ユーザーの行動履歴から予測します。気をつけたいのは、単純にある問題に対して回答できるかの予測ではなく、ユ

              【Kaggleコンペふりかえり】Riiid! Answer Correctness Prediction | 株式会社AI Shift
            • Kaggle Feedback Prizeコンペ 反省会

              社内の勉強会で発表した資料になります。 Kaggleの「Feedback Prize - Evaluating Student Writing」コンペについての資料です。 工夫できる点や勉強になる点が多く、面白いコンペだったと思います。 コンペについての概要、自身の解法、上位解法のまとめ、加えてKaggleで使えるTIPSについて紹介しています!

                Kaggle Feedback Prizeコンペ 反省会
              • データコンペサイトを作る DjangoRestFramework編 - nykergoto’s blog

                この記事は atma Advent Calendar 2019 - Qiita 2019/12/21 の記事です。 今年自社のサービスとして オンサイトのデータコンペティション atmaCup をはじめました。 オンサイトデータコンペとは実際に会場に集まり、準備されたデータをテーマに沿って分析・予測を行い、その精度を競うイベントです。 データコンペで有名なのはKaggleですが、みんなで実際に集まり、かつ時間もその日の8時間と短いのが特徴で、 参加者のスキルがオンラインのデータコンペより強く結果に表れます。 このatmaCupですが当然やろうと思うとコンペ用のシステムも必要です。というわけで裏側のシステム 「ぐるぐる」 を僕が作っています。 この時記事ではそのバックエンド部分を担っている DjangoRestFramework についてその便利さとどういう機能を使ってぐるぐるを作っているか

                  データコンペサイトを作る DjangoRestFramework編 - nykergoto’s blog
                • atmaCup#2 インターン生参加記録 #atmaCup - atma-inc__blog

                  はじめに はじめまして、atmaでインターンをしている植田 (@tellmoogry)と申します 今回のatmaCup#2では一般参加者として参加させていただきました 本記事は1参加者目線からみたコンペの参加記事となります はじめに コンペ概要 コンペ中に取り組んだこと 結果 参加して良かった点 コンペ概要 今回のタスクは"睡眠データをもとにその人の睡眠の質を予測する"というものでした。 データはユーザーごとにtrain, testで連続した時系列データが与えられました。 目的変数はユーザーが入力した[1,2,3]の3段階で与えられ、値が小さいほどその人の睡眠の質が低いことを表します。 評価指標はRMSEでした。*1 public, private*2の中身については事前に以下のような説明がありました。 private/public は時系列によって分割されています。具体的には特定のユーザ

                    atmaCup#2 インターン生参加記録 #atmaCup - atma-inc__blog
                  • Kaggle Mechanisms of Action (MoA) Prediction 振り返り - IMOKURI Blog

                    2020/9/4から2020/12/1までKaggleで Mechanisms of Action (MoA) Prediction コンペが開催されました。 参加された皆様、お疲れさまでした。 私は、日頃はインフラエンジニアでインフラの自動化やビッグデータ基盤の検討、設計、構築などを しています。 のですが、基盤の上で動く機械学習にも興味を持ち、半年ほど基礎勉強?をして、今回、このコンペに 参加しました。 機械学習の実力的には、自分で道を切り開いていけるほどではないので、Public NotebookやDiscussionの 内容を噛み砕いて、自分のNotebookに取り込んで、改良していくスタイルで取り組みました。 コンペ序盤に、オーバーフィッティングで、金メダル圏内まで行ったのですが、 中盤で drug_id が明らかにされてからは、いかに汎化性能を上げられるのかを調べながら望みまし

                      Kaggle Mechanisms of Action (MoA) Prediction 振り返り - IMOKURI Blog
                    • GitHub - ghmagazine/kagglebook

                      A tag already exists with the provided branch name. Many Git commands accept both tag and branch names, so creating this branch may cause unexpected behavior. Are you sure you want to create this branch?

                        GitHub - ghmagazine/kagglebook
                      • 未経験から日立のトップデータサイエンティストに--データ分析コンペで磨いた“実践力”

                        印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 2022年10月にスペインで行われた世界的なデータ分析コンペプラットフォーム「Kaggle」の世界大会において、日立製作所(以下、日立)の諸橋政幸氏が参加するチームが3位入賞を果たした。 同氏はデータ分析の部署に異動となってから、これまで本業以外の時間で国内外のデータ分析コンペにエントリーして数多くのメダルを手にするとともに、データサイエンティストとしてのスキルを磨き上げてきた。データ分析コンペへの挑戦と自身のデータサイエンティストとしてのキャリアをどのようにリンクさせてきたのか、諸橋氏に聞いた。 データ分析のスキルを習得するため分析コンペに挑戦 諸橋氏は、データから価値を生み出すデジタル事業「Lumada」を推進する日立において、デー

                          未経験から日立のトップデータサイエンティストに--データ分析コンペで磨いた“実践力”
                        • kaggle expertになるために必要だと思うこと|ざこぷろ

                          私事ですが、2019 Data Science Bowlで2つ目の銀メダルを獲得しkaggle expertになることができました。(1つ目はIEEE-CIS Fraud Detection) なぜこの記事を書くのか① kagglerが増えてほしいから。 ② - ○ヶ月でkaggleで銀メダルをとった話 - ○ヶ月でkaggle expert(master)になった話 - kaggle expert(master)になるまでの記録 などのような記事がググればたくさん出てきますが、自分が実際にやってきてメダルを取るにはもっと大事なことがあるんじゃないかと思ったからです。 ※本記事では具体的な手法や技術については記載しません。 kaggleでメダルを取る上で大事なことは?具体的な手法や取り組んだことが注目されますが私はそれよりも大事なことがあると思ってます。それは、継続するモチベーションです。

                            kaggle expertになるために必要だと思うこと|ざこぷろ
                          • Amazon.co.jp: 実践Data Scienceシリーズ PythonではじめるKaggleスタートブック (KS情報科学専門書): 石原祥太郎, 村田秀樹: 本

                              Amazon.co.jp: 実践Data Scienceシリーズ PythonではじめるKaggleスタートブック (KS情報科学専門書): 石原祥太郎, 村田秀樹: 本
                            • 【Kaggle Advent Calendar day19】NLP初手はどれ?〜Kaggle Notebookの人気ランキングと簡単な精度比較〜 - 統計応用合格君’s diary

                              Kaggle Advent Calendar 19日目の記事です。Kaggle Advent Calendar初参加ということで、お手柔らかにお願いします。 qiita.com 前日の記事は sinchir0 さん 日本は他の国のKagglerよりTwitterが活発なのか - sinchir0のブログ 翌日は upura さん 【Weekly Kaggle News 2周年】クリック記事ランキング2021 - u++の備忘録 です。 いきなり余談かつ私事で申し訳ないですが、日頃から大変お世話になっているお二人に挟まれて嬉しさと恐縮さがないまぜになっております。 申し遅れました、Kaggle Competitons Expertの増田と申します、よろしくお願いします。お笑い鑑賞が好きで、本日のM-1グランプリ決勝もとても楽しみです。 この記事は何? 一言で言うと、 NLPコンペにおける「初

                                【Kaggle Advent Calendar day19】NLP初手はどれ?〜Kaggle Notebookの人気ランキングと簡単な精度比較〜 - 統計応用合格君’s diary
                              • 自分がデータ分析/機械学習で成し遂げたいこと

                                TL;DR Ubie 株式会社に入社して一年くらい経ったので振り返りをする 改めてデータ分析/機械学習で何がしたいのかを考えているが、自分はデータから普遍的な知識を得たい人間で、その観点では(まだまだ先は長いけど)やりたいことができている 人によって目的は色々だと思ういますが、みなさんはどうですか? Ubie 株式会社に入社して 1 年以上経過したので軽く振り返りをしつつ、そもそも自分はデータ分析/機械学習で何がしたいんだっけというのを改めて言語化してみるエントリ。 ここしばらくは採用の文脈以外で他の会社の人と話すことが少なくて物足りないところもあるので、自分はこうだな〜という意見があればぜひ教えてください。 一年間を振り返ってみる まず何よりも、勤続一年一ヶ月を達成している自分を褒めたい。凄いぞ自分。偉いぞ自分。 勤続一年一ヶ月という圧倒的事実が示唆しているように、(労働の辛さはもちろん

                                  自分がデータ分析/機械学習で成し遂げたいこと
                                • kaggleクジラコンペ2022 上位者解法まとめ

                                  はじめに 画像からクジラの個体識別を行うHappywhaleというkaggleコンペが2022/4/19まで開催されていました。 コンペ終了後に公開された上位者の解法からたくさん学びがあったので、備忘録も兼ねてまとめていきたいと思います。 上位者解法まとめ 1. Datasets オリジナル検出器 多くの方が自分で学習させた検出器を使ってクジラ領域を切り出したデータセットを使用していました。 全身領域や背ビレ領域を切り出した公開データセットがありましたが、同じ領域を切り出すにしても、検出器が異なると多様性が生まれて精度が上がったようです。 公開されているデータセットの予測値をGTとして検出器を学習し、予測が外れているデータだけアノテーションし直して再学習を繰り返す工夫をしているチームもありました(引用:4th solution) bounding box mix augmentation

                                    kaggleクジラコンペ2022 上位者解法まとめ
                                  • Kaggle入門

                                    Kaggle入門 データ分析/機械学習の競技大会プラットフォーム「Kaggle」についての初心者向け連載。コンペティションの内容から、事例に基づくノウハウ、実際にメダルを受賞してKaggle Masterになるための道標を示す。 第1回 Kaggleはじめの一歩(2021/05/12) Kaggleとは ・コンペティションの種類 - Competition Types - Competition Formats ・Leaderboardの仕組み ・Medals - Medalists 初心者おすすめコンテンツ ノウハウ(1) DiscussionとCodeを見る ノウハウ(2) Kaggle Notebook/マシンの使い方 ・Kaggle Notebook ・クラウドサービス ・ローカルマシン ノウハウ(3) とにかくデータを見る ノウハウ(4) 過去コンペティションの解法で勉強する、L

                                      Kaggle入門
                                    • 「GPUを止めない!」精神でKaggleと向き合う。日立製作所メンバー x カレーちゃんによるKaggler対談 - Qiita Zine

                                      Kaggleを始めたのは、純粋に「面白そうだった」から ――今回はKaggle対談ということで、まずは皆さまのKaggleとの関わりについて教えてください。 浦谷 : もともとは新卒入社から4年間は公共システム事業部のメンバーとして、国税庁システムのSEだったのですが、2018年に現在の社会システム事業に異動したタイミングでデータサイエンティストに転身して、Kaggleと出会いました。きっかけ自体は、とある方のブログ経由だったと思います。 これまでのKaggleとの関わりでは、メダル獲得にコミットして参加したコンペが10個ほどになります。 諸橋 : 2012年にデータの部署に異動してから、Kaggleのアカウントだけは作っていました。僕の場合はSIGNATEを5年前くらいからやっていて、Kaggleを本格的にやり始めたのは2018年くらいからだと思います。 仕事というよりは勉強のためで、本

                                        「GPUを止めない!」精神でKaggleと向き合う。日立製作所メンバー x カレーちゃんによるKaggler対談 - Qiita Zine
                                      • Kaggleランカーの9人に聞いた、2022年面白かったコンペ7選と論文7選 | 宙畑

                                        そして本年も9名のKagglerの方にアンケートにご協力いただき、2022年に面白かったコンペと論文を教えていただきましたのでその結果を紹介します。 (1)回答いただいたKaggler9名のご紹介 まずは今回のアンケートに回答いただいたのは以下9名のKagglerの方です。 杏仁まぜそば YujiAriyasu カレーちゃん shinmura0 俺人〜Oregin〜 Hiroki Yamamoto SiNpcw ころんびあ regonn_haizine ※Twitterアカウント、アルファベット順 業務でのデータ解析分野 普段業務で利用しているデータ解析分野は、以下の通りです。今年は画像解析業務の方が多くいました。 過去に参加したことがあるコンペ・コンペに参加する理由 過去に参加したことがあるコンペは以下の通りです。やはりKaggleが最も多く、次いでProbSpace、Nishikaとい

                                          Kaggleランカーの9人に聞いた、2022年面白かったコンペ7選と論文7選 | 宙畑
                                        • The State of Competitive Machine Learning | ML Contests

                                          We summarise the state of the competitive landscape and analyse the 200+ competitions that took place in 2022. Plus a deep dive analysis of 67 winning solutions to figure out the best strategies to win at competitive ML. 2022 was a big year for competitive machine learning, with a total prize pool of more than $5m across all platforms. This report reviews all the interesting things that happened i

                                            The State of Competitive Machine Learning | ML Contests
                                          • [Kaggle]メラノーマコンペ参加記 - Qiita

                                            0.はじめに KaggleのSIIM-ISIC Melanoma Classificationという医療画像コンペで銅メダル(191 place, top 6%)を獲得し、Kaggle Expertになったのでその参加記を投稿します。 メラノーマコンペの概要、新しく学んだ理論、試した手法、上位solutionが含まれます。 特に手法に関しては参考になる部分はないかと思われますので、読み飛ばしていただいて構いません。 この記事ではある程度機械学習, Kaggleについての知識を前提としていますが、ニュアンスだけでも読めますので軽く読み流して頂けると幸いです。 0-1.ざっくり結論 ・非常にシンプルなタスクで、時間がない中でも取り組みやすかった ・データのかさ増しと、upsamplingが重要なコンペであった(が、upsamplingに関してはできなかった) ・Data Augmentatio

                                              [Kaggle]メラノーマコンペ参加記 - Qiita
                                            • Learn Intro to Game AI and Reinforcement Learning Tutorials | Kaggle

                                              Build your own video game bots, using classic and cutting-edge algorithms.

                                              • 世界最大のデータサイエンスコンペティション「Kaggle」にて キャディの機械学習エンジニアがゴールドメダルを獲得

                                                世界最大のデータサイエンスコンペティション「Kaggle」にて キャディの機械学習エンジニアがゴールドメダルを獲得世界Top 1%の機械学習エンジニアに 製造業サプライチェーンの変革に挑むキャディ株式会社(本社:東京都台東区、代表取締役:加藤勇志郎)は、Kaggleコンペティション「Feedback Prize - English Language Learning(以下、Feedback Prize)」において、当社の機械学習エンジニアである押条祐哉がゴールドメダルを獲得したことをお知らせします。世界中から2740チームが参加する中、単独での参加で13位となり、トップ 1%の機械学習エンジニアである実績を得る形になりました。 ■Kaggle とは 「Kaggle(カグル)」は、Googleが運営する世界最大のデータサイエンスコンペティションプラットフォームです。世界中から1千万人以上のデ

                                                  世界最大のデータサイエンスコンペティション「Kaggle」にて キャディの機械学習エンジニアがゴールドメダルを獲得
                                                • Kaggle GrandMaster 振り返り

                                                  Kaggle GrandMaster になったら振り返りを書くという風習があるらしい。検索するとたくさん出てきてどれも面白い (yu4u さんの振り返り, and references therein.) 機械学習で競う Kaggler と一口に言ってもテーブルデータに強い人、画像に強い人、なんでも強い人、AtCoder も強くてアルゴリズムと実装に強い人などいろいろいる。私は物理に強い(そしてそれ以外はそんなにできない)人というちょっとマイナーな GrandMaster になった。 テキサス大学で宇宙物理の数値計算で PhD をとり、3年任期のポスドクとして世界を転々として、2019年はローマにいた。研究が冴えないので、大きなプロジェクトでコードを書いて支援するという仕事をしていたけどよくある職ではないので機械学習をオンライン講座で学んだりしていた。自分で実際に使ってみないと身につかない

                                                    Kaggle GrandMaster 振り返り
                                                  • pythonで実行時間を測定しつつ時間も取得したい - nykergoto’s blog

                                                    実行時間を測定するには? KaggleMasterのアライさん著・Kaggleコード遺産でおなじみ timer を使うのが便利です! いつもお世話になってます😊 Kaggleコード遺産 - Qiita from contextlib import contextmanager from time import time # https://qiita.com/kaggle_master-arai-san/items/d59b2fb7142ec7e270a5#timer をちょっといじったやつ @contextmanager def timer(logger=None, format_str='{:.3f}[s]', prefix=None, suffix=None): if prefix: format_str = str(prefix) + format_str if suffix:

                                                      pythonで実行時間を測定しつつ時間も取得したい - nykergoto’s blog
                                                    • 機械学習コンペ(テーブルデータ)をする時の特徴量管理を考える #1 - まだタイトルない

                                                      kaggleなどでのテーブルコンペの公開ノートブックではそのノートですべてを完結させるという意味でもノート内で特徴量を作成していることが多いです。 しかし、長期間のコンペになると実験数は増えるし、処理に時間がかかる特徴量を使うケースも増えてきます。実験のたびに特徴量を計算するのは地球にやさしくない。。。 この問題に対するシンプルな対策は作った特徴量をファイルで保存しておいて読み取るだけにすることだと思います。 具体的な方法は kaggle 特徴量 管理 でググれば素晴らしい記事がいくつも出て来ると思います。 今回は特徴量毎に数値特徴量かカテゴリ特徴量かの情報も欲しくなったのでその情報も一緒に管理できるようにしていたのでその管理方法を紹介したいと思います。 そのまま誰かの役に立てば幸いですし、何かフィードバックが得られれば嬉しいです。 内容 trainの特徴量、testの特徴量、数値特徴量名

                                                        機械学習コンペ(テーブルデータ)をする時の特徴量管理を考える #1 - まだタイトルない
                                                      • Analyze BigQuery data with Kaggle Kernels notebooks | Google Cloud Blog

                                                        We’re happy to announce that Kaggle is now integrated into BigQuery, Google Cloud’s enterprise cloud data warehouse. This integration means that BigQuery users can execute super-fast SQL queries, train machine learning models in SQL, and analyze them using Kernels, Kaggle’s free hosted Jupyter notebooks environment. Using BigQuery and Kaggle Kernels together, you can use an intuitive development e

                                                          Analyze BigQuery data with Kaggle Kernels notebooks | Google Cloud Blog
                                                        • Kaggle 2022 Amex解法まとめ

                                                          2022/Amex解法まとめ 2022/05/25 ~ 2022/08/24 https://www.kaggle.com/competitions/amex-default-prediction/overview/description 概要 お題 目的 匿名化された時系列の行動情報から貸し倒れを予測する 今回の課題 匿名化された時系列の行動情報から貸し倒れの確率を予測する 18ヶ月間の支払情報から120日以内に支払わなくなる(支払えなくなる)確率を予想する 具体例 時系列(YY-MM-DD)と匿名特徴量(大半がfloat、一部categorical)188個 必要性 現状の手法とその課題 精度をより向上させたい (詳細な記述はなし) コンペティションについて データ CSVの合計が50GBと非常に大きい 訓練データ550万行、テストデータ1140万行 (ColabやKaggleでやる場

                                                            Kaggle 2022 Amex解法まとめ
                                                          • Kaggle Haliteを強化学習で解こうとした話 - threecourse’s blog

                                                            本記事は 強化学習苦手の会 Advent Calendar 2020 - Adventar 8日目の記事とするべく、コンペ終了後に書いた記事に追記しました。 7日目の記事(Kaggleの強化学習コンペがグダグダだった話 - Qiita)への返歌みたいなものになります。 雑感 強化学習でどこまで行けるんだろう、ということで勝敗に拘らず強化学習を試してみましたが、何も考えないと思っていたより厳しいなぁという印象でした。 「岩塩のあるところまで行く」→ まぁまぁ簡単にできる 「岩塩のあるところまで行って、スタート地点まで戻ってくる」→ 工夫しないと厳しい 「岩塩のあるところまで行って、スタート地点まで戻ってくるのを複数の船で協調する」→ さらに厳しい 結局、カリキュラムラーニングじみたことをやって、「岩塩のあるところまで行って、スタート地点まで戻ってくるのを複数の船で協調する」までは出来ました。

                                                              Kaggle Haliteを強化学習で解こうとした話 - threecourse’s blog
                                                            • GCP A100GPU-VMでKaggle-Docker環境を構築(2023年3月版) - Qiita

                                                              この記事は kaggle用にNVIDIA A100 GPUを使いたかったので、 GCP&kaggleコンテナイメージを用いた環境構築に挑戦したところ、 思ったより難しくて数日を費やしてしまったので、備忘録として手順を整理しました。 GCPに手を出してみたいけど躊躇している方や、今現在同じように苦労している方の助けになれば幸いです。 (注意事項) あくまでkaggle用学習環境の構築方法であることにご注意ください。例えばプロダクト用のGPU環境が欲しい場合は、より適切な手順があると思います。 本記事では(筆者がPyTorchユーザーのため)Tensorflowはサポートしていません。 ただし、kaggleコンテナを開始するところまでは同じ進め方のはずなので、参考にはなると思います。 手順 (事前準備)GPUの割り当て申請 GCPでGPUを使用するためには、割り当ての申請を事前に行う必要があり

                                                                GCP A100GPU-VMでKaggle-Docker環境を構築(2023年3月版) - Qiita
                                                              • 初kaggleで銀メダル取ったけど、これ全然イキれなくない?|村上智之(みどり)

                                                                みなさん、こんにちは。 データラーニングギルド代表の村上(通称みどりの人)です。今回は、kaggleに初参加したので、その振り返りをしようと思います。 今回は、私が立ち上げたデータラーニングギルドの活動の一環として、最初から5名でチームを組んで参加しました。 普段データ分析コンサルタントとしてデータ分析の仕事をしているのですが、なかなかkaggleには手を付けられなかったので、ちょうどいい機会だと思って参加してみました。 銀メダルを取ったものの、基本的にはほぼMTGに参加するだけのオブザーバー参加的な感じでした。なので、銀メダルといっても棚ぼた的な感じで取れたって感じですね。 普段実務でやっている分析と全然違い、kaggleならではな点に躊躇ったりしたので、今回の記事に関しては、主にkaggleと実務の違いといった点にポイントを絞って記事を書いてみようと思います。 細かな解法やどんな風に取

                                                                  初kaggleで銀メダル取ったけど、これ全然イキれなくない?|村上智之(みどり)
                                                                • 企業研究者の立場からKaggleに取り組む意義を考えた - Fire Engine

                                                                  先日,Kaggleで初めてコンペに挑戦し,その振り返りをブログに書きました. 現在,企業で研究者として働いている私は,Kaggleのコンペに取り組むことは非常に学びが多く,自身の研究活動にも良い貢献をするだろうと確信しました. 私自身Kaggleに取り組むまでKaggleと研究に繋がりを見いだせておらず,実際にコンペに取り組むことでその繋がりが見えてきました. まだ1コンペしか参加経験がないビギナーではありますが,私が考えている研究者としてKaggleに取り組む意義について現時点の考えをまとめたいと思います. 自分の立場について Kaggleへの取り組みが研究に良い貢献をするかどうかは,研究の分野や内容に依存すると思うので,私の立場をはっきりさせておきます. 私は現在,インターネットインフラサービスを提供するさくらインターネット株式会社の組織内研究所であるさくらインターネット研究所で研究員

                                                                    企業研究者の立場からKaggleに取り組む意義を考えた - Fire Engine
                                                                  • goto@meta翻訳開発者 on Twitter: "Kaggle界隈では複数シードのアンサンブルとかにまつわる話。 CV界隈でのランダムシード数と精度の関係を分析する論文。 シード数によって生じる精度の差は有意と言える物で、多くの研究がラッキシードによるものではないかと著者が懐疑的… https://t.co/jHLRN0RyhI"

                                                                    Kaggle界隈では複数シードのアンサンブルとかにまつわる話。 CV界隈でのランダムシード数と精度の関係を分析する論文。 シード数によって生じる精度の差は有意と言える物で、多くの研究がラッキシードによるものではないかと著者が懐疑的… https://t.co/jHLRN0RyhI

                                                                      goto@meta翻訳開発者 on Twitter: "Kaggle界隈では複数シードのアンサンブルとかにまつわる話。 CV界隈でのランダムシード数と精度の関係を分析する論文。 シード数によって生じる精度の差は有意と言える物で、多くの研究がラッキシードによるものではないかと著者が懐疑的… https://t.co/jHLRN0RyhI"
                                                                    • AI道場「Kaggle」への道 by 日経 xTECH ビジネスAI①のカレンダー | Advent Calendar 2019 - Qiita

                                                                      「日経 xTECH ビジネスAI」は、エンジニアの皆様を応援する気持ちを込めて、Advent Calendar 2019に参加させていただきます。 日経 xTECH ビジネスAI賞として、最新MacBook Pro 16インチを1名の方にプレゼントいたします。テーマを3つ用意しましたので、奮ってご参加ください! 12月中の投稿であれば過去の日付でもプレゼントの対象となります。ぜひ奮ってご参加ください。 テーマ① AI道場「Kaggle」への道 Kaggleの戦歴、面白かったKaggleコンペ、Kaggleのコンペでハイスコアを得るためのテクニック、初心者Kagglerに贈る言葉など、Kaggleに関連したテーマなら何でも。 日経 xTECH ビジネスAI賞 最新MacBook Pro 16インチ 1名 2.6GHz 6コアプロセッサ 512GBストレージ AMD Radeon Pro 53

                                                                        AI道場「Kaggle」への道 by 日経 xTECH ビジネスAI①のカレンダー | Advent Calendar 2019 - Qiita
                                                                      • Kaggle PetFinderコンペで優勝しました - u++の備忘録

                                                                        Kaggleで開催されていた「PetFinder.my Adoption Prediction」コンペ*1で優勝しました*2。 素晴らしいチームメイトに恵まれた思い出深いコンペです。開催から1年近く経過した今でもチーム「Wodori」のSlackでは活発に議論が交わされており、常に互いに刺激を受けながら切磋琢磨できていると感じます。 Wodoriのチームメイトの皆さまには、私が3月に出版するKaggle入門書*3の技術観点でのレビューも快く引き受けていただきました。Kaggle GrandmasterやKaggle Masterの称号を持っている方々に深く議論に参加していただき、より良い書籍に仕上げられたことを大変嬉しく思っています。 本記事の締め括りとして、本コンペの取り組みに関する公開済の情報を下記にまとめておきます。 Kaggle Discussion u++'s post: Ove

                                                                          Kaggle PetFinderコンペで優勝しました - u++の備忘録
                                                                        • なんでもkaggle関連リンク - Kaggler-ja Wiki

                                                                          GROWI 4.2.5 -/ Shortcuts × Global shortcuts Open/Close shortcut help: + / Create Page: C Edit Page: E Show Contributors: Konami Code ↑ ↑ ↓ ↓ ← → ← → B A Mirror Mode: Konami Code X X B B A Y A Y ↓ ← Editor shortcuts Indent: Tab Outdent: Shift + Tab Save Page: + S Delete Line: + D Comment Form shortcuts Post: + Delete Line: + D

                                                                          • How to Kaggle with Colab Pro & Google Drive | Hippocampus's Garden

                                                                            How to Kaggle with Colab Pro & Google DriveMay 31, 2021  |  4 min read  |  1,889 views enkaggleColab Pro (currently available only in the US, Canada, Japan, Brazil, Germany, France, India, UK, and Thailand) offers ready-to-use and accelerated cloud computing resources which otherwise are expensive and tedious to maintain. Unlike its free version, Colab Pro allows us to use TPUs and high-end GPUs s

                                                                              How to Kaggle with Colab Pro & Google Drive | Hippocampus's Garden
                                                                            • 時系列予測モデルの実践論 -昔のKaggleを事例に- - NRI Data Science BLOG

                                                                              Part1 なにはなくともEDA&ベースモデルつくりから! Shimpei Ikeno 2022-07-12 本連載の目的:実践的な”多系列”時系列予測モデルの解き方を紹介 みなさんはじめまして。NRIのデータサイエンティスト、時系列予測プラクティスチームの池野です。Wikipediaによれば、時系列とは、“ある現象の時間的な変化を、連続的に(または一定間隔をおいて不連続に)観測して得られた値の系列(一連の値)のこと”をさします。時系列予測の大家であるRob J. Hyndman教授によれば、予測とは、“将来を、過去のデータや影響を与える将来のイベントなどの活用可能な情報に基づいて、できるだけ正確に見通すこと”とあります。したがって、時系列予測は、時間的な変化の観測結果に基づき将来をできるだけ正確に見通す取組といえましょう。時系列予測モデルは、そのような時間的変化の観測結果からパターンを見

                                                                                時系列予測モデルの実践論 -昔のKaggleを事例に- - NRI Data Science BLOG
                                                                              • 【Kaggle AdC '23】米国の大学・企業でのKaggle実績の受け取られ方雑感 - tkm2261's blog

                                                                                お久しぶりです。tkmです! Kaggle AdC '23の6日目として「米国の大学・企業でのKaggle実績の受け取られ方雑感」についてつらつらと書いて行きたいと思います。 qiita.com 昨年Kaggledays Championship at Barcelonaでの優勝から、Kaggleとは少し離れてしまっていますが枠が空いているということで技術的ではないポエムですが投稿します! 注意:これは私が体験した極めて主観的な感想であり一般化して受け取るのは危険です。 TL;DR 実績にそれほど効果はないが、獲得賞金を交えて話すとたまに効く。 正直、実績にそれほど効果はないしGMだからってそれで超すごい!みたいになることはない。 こっちの大学でも機械学習の授業でKaggleは一応習うが特にガチる人は見たことないし、教授としてもコンペと研究は違うと認識しているのでKaggleの実績単体で超

                                                                                  【Kaggle AdC '23】米国の大学・企業でのKaggle実績の受け取られ方雑感 - tkm2261's blog
                                                                                • Kaggle戦記~Kaggle Masterになるまでを振り返る~ - arutema47's blog

                                                                                  https://www.kaggle.com/kyoshioka47 目的 この度約10ヶ月間Kaggleに参戦しCompetition Masterになり賞金も獲得できました。本記事では参戦したコンペ中の思考や得られた事を振り返り記録します。これからKaggleを始めMasterを目指す人の参考になればと思います。 また試しに昔登録したamazonアフィリエイトのリンクをいくつか貼ってみました。コーヒー代を寄贈する気持ちでクリック先で本を買ってもらえると嬉しいです。 目的 バックグラウンド 始まり Lyftコンペ 学んだこと Kaggleで強い人って? PKUコンペ 学んだこと Bengali Shake Downの洗礼 Shake Downの原因 ShakeDownを避けるために実践したこと PANDA チームアップ 優勝 Winner's call 闇の小麦コンペ 最後に勉強してよか

                                                                                    Kaggle戦記~Kaggle Masterになるまでを振り返る~ - arutema47's blog