【Kaggle】NBME - Score Clinical Patient Notesコンペにチーム参加し、4位となり金メダルを獲得しました
【Kaggle】NBME - Score Clinical Patient Notesコンペにチーム参加し、4位となり金メダルを獲得しました はじめに こんにちは。新卒2年目になりました、中間です。業務では主にレコメンドシステムの改善に取り組んでいます。 今回は、5月初旬に終了したKaggleのNBME - Score Clinical Patient Notesという文書データを扱うコンペにチームで参加して1471チーム中4位となり金メダルを獲得することができたので、取り組みなどを紹介しようと思います。 順位の右に表示されている数値が、参加中に確認できる順位と最終順位がどれくらい異なるかを表しています。ご覧の通り、若干の順位の変動があったコンペで、金メダルを獲得することができました。 コンペURL: https://www.kaggle.com/competitions/nbme-sco
Advent Calendar 2020 : プログラミングコンテスト参加中の心拍数を測定してみる - kmjp's blog
この記事は、Competitive Programming (1) Advent Calendar 2020 - Adventarの17日目の記事です。 読んでも競技プログラミングの実力は上がりませんので、ご注意ください。 過去の分はこちらです。 Advent Calendar 2016 : ABC#001のA問題をコンパクトに解く - kmjp's blog Advent Calendar 2017 : CPHBを少しだけ和訳してみた(前編) - kmjp's blog Advent Calendar 2018 : ブログを書く速度を少しだけ上げる - kmjp's blog Advent Calendar 2019 : 高橋君は何問登場したか？～高速に問題をブラウズする - kmjp's blog 目次 目次 はじめに 実験結果 プレッシャーがないとき ◆ABC185とLeetCode
CodinGame 最適化ゲームの紹介 - ヴァルの開発記
この記事はCodinGameの一人用最適化ゲームの紹介記事です。 CodinGameといえば対戦ゲームが定番ですが、一人でやる最適化ゲームも実はけっこう充実しています。このたび全ての最適化ゲームをプレイし終えたので、それらの紹介記事を書いてみることにしました。 Optimizationカテゴリ CodinGameにはOptimizationというカテゴリがあり、最適化ゲームはそこに分類されています。このカテゴリのゲームは一人でプレイし、ハイスコアを競います。 Optimization ゲーム一覧 この記事で使う指標 ・公式評価 CodinGameユーザーによる投票の５段階評価の平均点（2021年3月14日 現在） ・私の評価 私が好きかどうか ★１～★５（好きでない～好き）の５段階で評価 ・問題の単純さ 問題の内容が分かりやすいか ★１～★５（分かりにくい～分かりやすい）の５段階で評価 ・
AtCoderの参加回数が多い人ほどレーティングが高い？ - 唯物是真 @Scaled_Wurm
前にAtCoderのレーティングの分布について調べて記事を書きました sucrose.hatenablog.com Twitterで「AtCoderにたくさん参加すればレーティングが上がる」という話を見かけて気になったので、ユーザーの参加回数とレーティングの関係を雑にグラフにしたりレーティングの分布のグラフを書いたりしてみました 調べるのが簡単なAtCoderのランキングに書いてある現在のレーティングと参加回数の表のデータを使いました https://atcoder.jp/ranking?p=1 AtCoderのレーティングの分布 レーティングの色分けについてはこちら↓ https://atcoder.jp/post/14 1回しか参加していないユーザーも数えているので灰色が全体の半分近くを占めています レーティング レーティング上位何%か 2800(赤) 1% 2400(オレンジ) 2%
業務の最適化とマラソンマッチの違い - gasin’s blog
最近マラソンマッチが流行ってるみたいなので流行に乗って書いてみます 新卒のペーペーですが複数社でヒューリスティックな最適化系のタスクしてきたので参考程度にはなるかも？ そもそも最適化とは ja.wikipedia.org まぁこれなんですが、簡単に言うと、パソコンとか数学使って賢いことをすることでリソース（お金）を得る（節約する）ことです。 巡回セールスマン問題（TSP）は有名な例で、複数の荷物を届けるときにどの順番で家を訪れれば最も移動距離が短くできるかみたいな問題は、パソコンを使うと人間よりもかなり賢く解けます。 マラソンマッチとは （組合せ）最適化問題が与えられるので、最もいいスコアが出せた人が優勝！っていう競技です。 昔は海外サイトばかりでしたが、最近はAtCoderというサイトでマラソンマッチが割と頻繁に開かれるようになりました。 競技なので勿論問題設定や各種制約が厳密で、終盤に
Google Cloud Storage（GCS）でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記
皆さんこんにちは。 コンペで頑張ったので疲れました。 さて、Google Landmark 2021が終了し、Retrieval5位（金）、Recognition12位（銀）となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。 すると9/18に久々に請求額を確認すると32万ほどの請求額がありました。 さすがに目玉が飛び出て、調査にあたったといったものになります。 課金内容を確認したら原因はすぐにわかり、チームで対策を打ちました。（私が慌てて学習にスト
AIで法律文書解釈、静岡大1位 国際法律文書処理コンテスト：朝日新聞デジタル
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
競技プログラミングAI「AlphaCode」のコードレビューをしてみた 😱 - Qiita
DeepMindのAlphaシリーズ最新作「AlphaCode」が、競技プログラマーの標準レベル（Codeforces TOP 54%）に達したとの発表がありました。 AlphaCodeは今をときめくTransformer系のディープラーニングで、課題文を入力すると解答プログラムを出力する自然言語処理を行います。そうです、これはすなわちプログラミングをするプログラムです。マジかよ……。 詳しい手法については公式ブログや論文を参照してほしいのですが、DeepMindは別途いくつかの解答例について正誤あわせて確認できるデモサイトも用意していて、これがめちゃくちゃ面白いです。 ええ、こちとら天然物のプログラマーです。人工知能とやらが絵や写真を自動生成しはじめたあたりはまだ笑って眺めていられましたが、我々の崇高なるプログラミング領域を侵されるとなってはたまりません。いうて大したことないやろ的な、上
kaggleのメルカリ価格予測コンペの反省とword2vec、Embeddingについて - 時給600円
そういえば年末年始あたりにメルカリのコンペに冬休みの自由研究として参加してました 他のことに追われていたらいつの間にかコンペが終了したので反省という名の手法の振り返りをする コンペ自体の詳細は以下のリンクから Mercari Price Suggestion Challenge | Kaggle 何をするコンペだったかというと主催側で商品名、商品の品質(5段階)、商品のカテゴリ名や説明文などが100万件以上あるデータを提供するのでそこから与えられた商品の価格を予測してねっていう感じのコンペ 価格の予測というわけで二値分類とかではないから半教師分類が使えなくて困った(値段予測を10ドル区切りのnクラス分類と置けばゴリ押しできたかも) まずは自分が行ったデータ分析をば。コードはここ 与えられた訓練用のデータtrain.tsvの欠損値の確認を最初に行うtsvファイルで与えられたので読み込みで最初
【強化学習】KaggleのConnectXへの投稿方法を解説（スコア900越えコード付き） - Qiita
この記事は自作している強化学習フレームワーク SimpleDistributedRL の解説記事です。 はじめに 機械学習を実践で試すなら Kaggle はうってつけです。 強化学習の問題もいくつかあり、投稿方法を紹介したいと思います。 基本は本フレームワークを使用しての投稿ですが、使わない場合も参考になるかと思います。 ConnectX Kaggleが用意している強化学習のチュートリアルコンペです。 （タイタニックの強化学習版です） サイトはこちら：ConnectX 内容はコネクトフォーという特殊な４マス並べゲームと同じです。（Switchゲームの世界のアソビ大全にもあるやつです） これの強いAIを作るのがコンペ内容となります。 投稿形式に関して 他のコンペは予測したcsvファイルを提出だったりとイメージしやすいんですが、強化学習のコンペは提出ファイルがpyファイルになるので少しハードル
AtCoder 8問体制で水色になるまでにやったこと - Qiita
1. 概要 2022年2月にAtCoderの水色になりました。 この記事では、AtCoderで水色になるまでに行ったことと、8問体制で水色になるために必要と思われることをまとめます。 2. 準備 私について 私は学生時代にTopCoder等で少し競技プログラミングを経験していました。十数年ぶりに競技プログラミングを再開し、昨年からAtCoderを始めました。そのため事前知識がある状態からスタートし、最初は水色を目標としました。 言語はC++を使うことが多いですが、Pythonの方が解きやすそうな場合はPython3を使います。 環境構築 PCの準備 Linuxで開発したかったので、デスクトップPCと、別用途で契約していたVPS上に開発環境を構築しました。性能が高くないVPSでも開発には十分でした。どのノートPCからでも慣れた環境で開発できるのでVPSは便利でした。 開発ツールの準備 Top
CMU留学を終えて - security etc...
昨年は自分にとって一番環境に変化があり濃密な1年だった。多くの新しいことを経験し学んだ年だからだと思う。経験とは、主にはピッツバーグにてCMUの学生として過ごし卒業したことである。 CMUの生活は、目の前に広がる未経験を凝縮した海みたいな感じで、経験値も広がりもすごかった。今回はその留学の振り返りを書こうと思う。本当はもう少しまとめてから書こうかとも思ってもいたし、全然技術的でもない。でも想いが冷める前の今のうちにどうしても書いておきたい。 書き始めると想いが入ってしまってだいぶ長くなってしまった。だいぶ削ったけど、面倒な方は最後の「まとめ」を読んでもらえればと思う。 はじめに2017年9月から2018年12月の16か月で、社費留学にてCMUのINI (Information Networking Institute) にてMaster of Scienceの学位を取得するプログラムを修了
Riiid コンペ復習 - maskingなど - higepon blog
これは Riiid! Answer Correctness Prediction | Kaggle において自分が理解できていなかった部分をまとめるもの。間違いを含む可能性がある。間違いを見つけたら @higeponja にお知らせください。 Riiid はいわゆる time series コンペ。きちんと masking をしないとleakage が発生する。このあたりの自分の理解をまとめる。 未来の情報を使ってはいけない train/infer 時のマスク 未来の情報を train/infer 時に使ってはいけない。これを厳密にやらないと leakage になる Transformer の attention で未来を見てはいけない。例）問題番号 102 の正解・不正解が分かれば、以前の問題101の予測は簡単になるかもしれない。いわゆる triu マスク。 task_container
【SIGNATE】BERTで医療論文を2値分類する(PyTorch BERT)
何をしたのか(概要) 🤗Huggingface Transformersで提供されているmicrosoft/BiomedNLP-PubMedBERT-base-uncased-abstract-fulltextをベースにして、医療論文の2値分類用にFine tuningしました。 Modelには、上記のBERTをベースとして、LSTM, Conv1D, Linear層を追加し、BERTの重みを最大限活かした予測ができるように工夫しています。 Datasetには、Argument(データ拡張)処理を実装し、学習データの文章をランダムに削除したり入れ替えることで過学習の抑制をしました。 ラベル1が全体のうちの 1/43 程度しかなかったこと、評価指標がラベル1の正解を高く評価する指標であることから、損失関数のラベル1に対する重みを130倍 (ヒューリスティックス) に設定した。 Datase
Transformerを用いた表現学習・推薦の実装 | フューチャー技術ブログ
こんにちは！SAIGの金子です。 普段はフューチャーのAIグループで開発を行っている他、nadareというハンドルネームでデータ分析コンペティションに参加しています。 自然言語処理でよく使われるWord2VecやTransformerをログデータやテーブルデータの予測・分析に活用するためのオレオレベースラインを紹介します。 対象読者 既にWord2VecやTransformerについて知識があり、その上自身で改造を行いたい人 レコメンド・検索技術に興味のある人 はじめに昨今、ECサイトの閲覧・購入履歴の分析やワクチンの開発といった自然言語以外の分野でも、それぞれの商品やアミノ酸を単語とみなして埋め込み表現を獲得するWord2VecやBERTのような自然言語処理由来の技術が活用されています。 これらの分析にはgensimのようなよく整備されたライブラリが活用されますが、それらは自然言語処理を
ゼロから始めて楽しく続ける競技プログラミング 〜３３歳、入緑しました〜 - あいねむの競プロ雑記
自己紹介 どうも、ainem(あいねむ)と申します。 子供の頃からずっとプログラミングに憧れたまま、始められずにいた昭和生まれの社会人です。（chokudaiさんとドンパ*1） ハッカーにあこがれるainem 奥さんの妊娠をきっかけに、隙間時間で2人でできる趣味を探していて*2、プログラミングを使ったゲームがあるらしいとatcoderを始め、今や1年以上続いています。 この度入緑をキメたので、僭越ながら記事を書かせていただきました。 ainem - AtCoder レートグラフ 効率的な学習方法は効率よくレートが上がっている人の記事を参考にしていただくことにして、*3 私は「いかに楽しく競プロを続けるか」にフォーカスして、自分がどうやって競プロを続けてきたかを紹介していけたらなと思いまーす。 自己紹介 はじめの一歩 京都大学 プログラミング演習 Python チェックアイ・オー(おすすめ)
Kaggleでコンペを開催する方法について調べてみた｜M3 Data Science Blog
こんにちは！エムスリーデータサイエンティストの日野です。 みなさんはKaggleに参加したことはありますか？データ分析グループでもKaggleに参加して技術力をあげようという取り組みは行われており、私を含め、実際に参加したことがあるメンバーが数人在籍しています。今日はコンペを開催する側に回ったときになにを考えなくてはいけないのかについて簡単に調べた結果を紹介していきたいと思います。 Kaggleとはご存知の方も多いと思いますが、Kaggleとはデータ分析コンペのプラットフォームで、世界中の企業や研究機関から出題された様々なコンペが開催されています。参加者は与えられた課題に対して機械学習の精度を競ったり分析結果のレポートを提出することになります。上位に入るとメダルや賞金が貰え、それを目指して参加者は日々格闘しています。 過去、日本企業からもリクルートやメルカリがコンペの開催を行っています。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SantaとAHCと遺伝的アルゴリズム
問題が解けないとき/20分経っても方針が見えないならここを見る。
Rustで有限オートマトンを書いてAtcoder Beginner ContestのA問題を解いてみる