2019-nCoVについてのメモとリンク
リンク集目次 国内外の状況 政府機関・国際機関等 学術情報 疫学論文 分子生物学／ウイルス学論文 臨床論文 インフォデミック関係 ワクチン関係 変異株関係 時系列メモ目次 新型コロナウイルス（2020年1月6日，11日） インペリグループによる患者数推定（2020年1月18日） 患者数急増，西浦さんたちの論文（2020年1月20日，23日） WHOはPHEIC宣言せず（2020年1月23-24日） 絶対リスクと相対リスク（2020年1月26日） 研究ラッシュが起こるかも（2020年1月27日） なぜ新感染症でなく指定感染症なのか？ なぜ厚労省令でなく閣議決定なのか？（2020年1月27日） コロナウイルスに対する個人防御（2020年1月27日） 国内ヒト＝ヒト感染発生（2020年1月28日） フォローアップセンター設置，緊急避難等（2020年1月29日） PHEICの宣言（2020年1月3
この記事はNuco Advent Calendar 2023の12日目の記事です。 はじめに 技術は目まぐるしく変化・進歩していて、トレンドに追いつくには、まず信頼できる情報源が必要です。 このリンク集では、エンジニア向けのコンテンツを種類別に紹介します。業界の最新ニュース、学術論文、実践的な動画解説、そして専門家のコミュニティなど多様なリソースをまとめました。 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 知識共有コミュニティ Qiita 言わずもがな、国内最大級のコミュニティサービスです。言語・分野ごとのタグがあり、どのエンジニアにとっても使いやすいサイトになっています。 Zenn 「知識を共有するエンジニアに対価
生成 AI の登場によって、僕らはプログラムを書く時代が終わりに近づいている？！ 2023 年に OpenAI 社が発表した ChatGPT は、特に僕ら IT エンジニアにとって衝撃な発表だったのではと思います。 今まで、ググったり、参考書をもとに実装したり、GitHub などからコードを参考にして実装していたものが、「テキストだけ」で実装できるほどになりました。 生成 AI を用いたサービスやツールの登場 ChatGPT の GPTs や LLM、これらを用いたプロジェクトが研究・開発されたり、オリジナル GPT を作成して業務の効率化を図ったり、僕らの仕事は大きく変わっていきました。 また、プログラミングが全くわからなくても、プロンプトのみでいろいろなことができるようになりました。 ビジネスシーンで非エンジニアという方々にも、導入が進んでいるのではないでしょうか？ 僕がウォッチしてい
Kaggleや競プロのトップランカーが持つ「本質的な強み」とは。リクルートが作り出す、競技と業務の好循環 - はてなニュース
ソフトウェアエンジニアがプログラミングの腕を競い合う競技プログラミングや、データサイエンティストや機械学習エンジニアが機械学習モデルの精度を競い合うKaggle。こうしたコンペティションのトップランカーが持つテクニックやスキルを実際の業務にも活かそうとしている、あるいはすでに活かしている企業も少なくないでしょう。 一方で、その能力を最大限活かして仕事に取り組めるかには課題も残っているようです。「競技のトップランカー」の肩書きに引きずられるためか、彼らの強みを活かすためには起用範囲を絞らざるをえない、という悩みも方々から聞こえてきます。 そんな中、リクルートではトップランカーのスキルや技術だけでなく、「本質的な強み」に着目。その「本質的な強み」を、領域を横断してさまざまなプロジェクトに活用することで、事業課題の解決やサービス価値の向上につなげています。 トップランカーの「本質的な強み」とは、
0. はじめに 昨今のAI、DXブームの影響で、機械学習、深層学習（ディープラーニング, Deep Learning） への注目は増すばかりですが、初学者の方にとって機械学習を学ぶハードルは依然高い状態かと思います。 機械学習、特にディープラーニングを習得するには学ぶべきことが多く、また分野によっては難易度が高いということもあり、学んでいる途中で挫折してしまうという人も多いという印象があります。 そこで本記事では、これから機械学習を学びたい方が自学自習する際の助けになるようにと、有用な自習コンテンツをまとめました。 本記事では、機械学習エンジニアとして実務に参画できるレベルを目指して、コンテンツを収集しました。よって機械学習の理論やライブラリに加え、社会実装する上で付随して必要となるソフトウェアエンジニアリングのスキルも含めています。 コンテンツについては、適宜追記していく予定です。 対象
はじめまして@vimmodeです。普段はMNTSQというリーガルテックの会社で自然言語処理をしています。今回はBERTとBERTまでの流れを簡単に紹介します。 自然言語処理で今やデファクトスタンダードとなりつつであるBERT。登場当時はモデルの複雑さに伴う計算環境や計算リソースの確保が難しく気軽に動かせなかったが、ColabやKaggleカーネル環境が整備されたきたおかげで誰でも気軽に使えるようになりました。 また、haggingface社が公開したBERTと関連モデルのラッパーライブラリであるtransformersによりわずか10行程度でBERTモデルを記述できます。 一方、自然言語処理を始めて間もない段階でいきなりBERTを突きつけられても理解の壁が高いと思いますので、今回は数式やコードを使わずにBERTに至るまでの流れを簡単に紹介したいと思います。 ※これらはあくまで私の理解であり
(最新SSD IOはPCIe x4でした。ご指摘ありがとうございます。） はじめに どの処理で律速しているか調べる 各処理の速度改善方法 データ読み込み速度の改善 データ前処理速度の改善 GPU処理速度の改善 コンピューティングについての他記事 はじめに Kaggle Advent Calendar 2022 8日目です。 突然ですが、あなたはDNN学習時にどの処理で学習速度が律速しているか把握してますか？ DNN学習には図に示すように大きく3つの要素があります： （SSDからの）データ読み込み （CPUによる）データ前処理 （GPUによる）DNN計算 学習時のデータの流れとしては SSDからデータが読み込まれ、CPUに送られる(SATA or PCIe) CPUにてaugmentationや正規化などの前処理が行われ、GPUにデータが送られる(PCIe x16) GPUにてDNNの計算・
著者のParul Pandey氏は世界各地に拠点のあるAIスタートアップH2O.aiでデータサイエンス・エバンジェリストを務めており、AINOW翻訳記事『あなたのビジネスにAI戦略を効果的に使用する方法』の著者でもあります。同氏が最近Mediumに投稿した記事では、H2O.aiに所属するKaggleグランドマスターにKaggleの取り組み方に関してインタビューしました。 データサイエンティストのPhilipp Singer氏は、オーストリアのグラーツ工科大学で博士号を取得後、自身の知識を応用する機会を求めてデータサイエンス業界に入りました。同氏がKaggleを始めたのは単なる情報収集がきっかけだったのですが、優秀な成績をおさめたことによってKaggleに夢中になりました。そんな同氏のKaggleの取り組み方、そしてKaggleから学んだことの要点をまとめると、以下のようになります。 Kag
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
2019年のテック系ポッドキャスト - フロントエンド・モバイル・WEB・インフラ・アジャイルなど - このすみノート
最近は忙しく、テック系ポッドキャストをあまり聴けていない日々が続いていたのですが、また聴き始めることにしました。 ただ、以前書いた「2017年とテック系Podcast(ポッドキャスト)を、紹介しつつ振り返る」という記事から、すでに1年以上が経過しています。 www.konosumi.net 最近のポッドキャストはまったくわからない状況だったので、新たに購読するポッドキャストを再検討することにしました。 テック系ポッドキャストの探し方 Podcast Freaks テック系ポッドキャストの紹介 アジャイルラジオ テストラジオ Misreading Chat engineer meeting podcast dex.fm w2o.fm 人生fm Researchat.fm UIT_INSIDE Tech系フリーランスが選ぶ最近の気になるトピックス(テクフリ) mozaic.fm プログラム雑談
去年、とある会社にデータサイエンティスト職として転職いたしました。 はやりのせいか、データサイエンティスト志望者と求人が増えている印象ではありましたが、噂も多いこの業界の転職事情について、実際はどんな状況であったのか、まとめをさせて頂きます。 自己紹介 大学・大学院では、バイオサイエンスを専攻。 植物、微生物を対象に、遺伝子発現解析や、化学分析(HPLC, GC-MS)、Rを使った統計・多変量解析を主に行っていました。 新卒で繊維系の製造企業に就職。1カ月間の研修後、配属ガチャにより子会社の品質保証部に配属され、約1年半所属しておりました。 品質保証部では、主に客先からのクレーム対応や客先向け書類の作成・整理の事務作業、工場側と設計開発との社内調整役など、製造部門のバックオフィス的な役回りで仕事を担当しておりました。 転職活動へのモチベーション ①製造部門のバックオフィス的な役回りが合わな
機械学習モデリングの広辞苑的書籍「Kaggleで勝つデータ分析の技術」が良かったので筆者に媚を売る - Stimulator
- はじめに - 当ブログでは恒例になっている、献本されたので筆者に媚を売るシリーズです。 今回は10/9に発売予定の「Kaggleで勝つデータ分析の技術」という書籍なんですが、既に発売前にしてAmazonベストセラー1位。豪華著者陣とKaggleにおいては日本有数の起業と言っても過言ではない、DeNA株式会社の豪華レビュワー。筆者がブログを書いていたり、u++さんがめちゃくちゃ丁寧な書評を書いていたり、Kaggle Grand Master各位の薦めツイートも出てきた段階で、もう私が媚を売る必要すらないと思いますが、良かったので感想だけでも残しておければと思います。 Kaggleで勝つデータ分析の技術 作者: 門脇大輔,阪田隆司,保坂桂佑,平松雄司出版社/メーカー: 技術評論社発売日: 2019/10/09メディア: 単行本（ソフトカバー）この商品を含むブログを見る 端的に言えば、テーブ
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog DataLabsのSpeech teamに所属している小松です。環境音認識に関する基礎研究を行っています。環境音認識とは我々の身の回りで起こる多種多様な音、たとえば咳や話し声、物音などを機械に自動的に検出・認識させる技術です。この技術は音に関する分野の中で最もホットで急成長しているトピックの一つであり、環境音を専門に扱う国際コンペティション/ワークショップ、DCASEも毎年開催されています。 そのコンペティション部門であるDCASE2020 Challengeのtask 4に、LINEは昨年度のインターン成果 [1] を主軸にした名古屋大学、ジョンズ・ホプキンス大学との合同チームで参加し、世界1位を獲得することができました。本
はじめに 最近、翻訳サービスをリリースしたりしてから、機械学習の勉強をどこでしたらいいのか聞かれることが増えました。 機械学習関連の知識は遷移が激しいので、書籍には限界があります。 ですので、その度に「twitterが一番勉強になる」と答えていました。 が、この回答は聞き手依存な無責任な回答な気もしたので、この際フォローすべき人をまとめておこうと思います。 時折機械学習系でない人も紛れているかもしれません。 とりあえず40アカウントおすすめするだけの記事なので、抜け漏れはあると思いますが、後日補完していこうと思います。 登場するアカウントには何の許可も取っていませんが、独断と偏見でアカウントの特徴をメモしていきます。 (メモとはいえ失礼のないよう書いたつもりです) 0. goto_yuta_ 私です。機械翻訳や、論文のまとめなどの話が多いです。自作の機械翻訳サービスの中身に触れたりします。
10年経ってもついに消えずに残った、データサイエンティストという職業 - 渋谷駅前で働くデータサイエンティストのブログ
このブログでも何度か引用しているこちらの記事で、「データサイエンティストという職業は10年以内に消える」という趣旨の議論がされていたのがちょうど10年前の2013年でした。ちなみにこの記事はついているブックマーク数に比して当時は結構注目を集めたという記憶があり、割と業界内では「確かにこんな中途半端な職業が10年後もあるわけないよね」と言われていたのを思い出します。 実際には皆さんもご存知のように、2023年になってもデータサイエンティストという職業はついに消えることなく、現在に至るまで残り続けています。その経緯がどんなものであったかは、業界10年史記事でもある程度触れた通りです。 しかし、同時に現在では「生成AIの普及でデータサイエンティストの仕事がなくなる」という風説も出回っており、改めてデータサイエンティストという職業の将来性に不透明感が漂いつつあるのもまた事実です。そこで、今回の記事
はじめに この記事は強化学習苦手の会Advent Calenderの12日目の記事です。 私は11月末までKaggle上で開催されていたGoogle Research Football with Manchester City F.C.に参加していました。このコンペはGoogle Researchが用意したサッカーゲーム上でサッカーエージェント(プレイヤー)を作成し、その強さを競うというものです。 私はhigeponさんとチームを組ませていただき、強化学習アプローチでコンペ開催から終了まで取り組みました。そこでサッカーエージェントを強化学習で育成する際に工夫した点や苦労した点を共有できればと思います。 kaggle: Google Research Football competition www.kaggle.com GitHub: Google Research Football gi
Kaggleで銅メダル、銀メダル、金メダルを取るプロセスの違いや、具体的に何をすべきかについて質問がありました。 Twitterで回答を募集したところ、次の回答をもらいました。 過去に似たコンペ2,3コンペ漁って1~10位までの解法に目を通しつつ、現コンペのディスカッションを全部追って効くものを試すと銀メダルは取れるという肌感覚 https://t.co/si4GwbM4wD — 杏仁まぜそば (@an_nindouph) November 17, 2023 自分もこれと同じ感覚です。以下、少し説明します。 銀メダルを取るために必要なもの 銀メダルを獲得するために必要だと思ったのが、次の3つです。 最低限のデータ分析コンペの実力 データ分析について、最低限のみんなが知っていることを知っておくことが必要と言えます。「Kaggleで勝つデータ分析の技術」の知識があれば、十分に戦えると思います。
こんにちは、Wantedlyで推薦システムを開発している樋口です。Kaggleや実務での機械学習の開発にて、過去に下記のような失敗がありました。 精度改善のために実験を繰り返し追加したら、PRが巨大になり、レビューに時間がかかった 学習結果を確認したら、パラメータを一部だけ間違えていて、再度長い実験をやり直した このような悩みを解決するために、書籍や経験で学んだプラクティスを取り組んできました。例をあげると以下のようなのものがあります。 小さい単位でPRを作成する パラメータを設定ファイルに切り出して、ヌケモレを減らす 学習データをサンプリングして、実行時間を短縮して結果を素早く確認する これらのプラクティスに取り組む中で、もっと "高速で正確な開発を行うための知見や方法が体系化されているのではないか" という疑問が湧きました。 この疑問を解決するべく"継続的デリバリーのためのソフトウェア
【はじめに】 本記事は 「機械学習をどう学んだか by 日経 xTECH ビジネスAI② Advent Calendar 2019」 の19日目になります。 おじさんSEの私がどうやって機械学習を勉強したかを記します。 きっかけは当時抱えていた分類課題において、「機械学習が使えるんじゃね?」というところから始まりました。 闇雲にやっていたので正直記憶は曖昧です。 経歴 プログラム歴は30年近くあります。 小学生の時に覚えたMS BASICから始まり、Z80アセンブラ、MC68000アセンブラ、FORTRAN、C(UNIX)、C++(Mac)、VB、Java(Android)、VB.NET、C#と触ってきました。 いろいろな言語に触れてきましたが、どれも極めるほどガッツリやっていたわけではありません。 機械学習に関しては20年以上前、いわゆる第二次AIブームの終わり頃に卒論のテーマでニューラ
最終更新日： 2020年3月4日 AIの高まりとともにデータの大切さが再認識される今、オープンにさまざまなデータが公開され、気軽に活用できるようになっています。 オープンデータの存在は、膨大なデータから学習を行う機械学習にとって不可欠で、構築したいAIに合わせてオープンデータを選択し、活用することが必要です。 一方、オープンデータのみでは競合優位性のあるAIは構築できません。マクロなオープンデータと、独自に収集したミクロなデータを組み合わせて、独自のAIを構築していくことが重要です。 オープンデータを活用したサービスを構築する際には、サービスのUX（ユーザー体験）を高め、いかにユニークなデータを取得できるかが勝負なのでオープンデータに頼りすぎないようにしましょう。 今回、オープンデータ・データセットを6カテゴリに分類し、100個選出しました。自身のサービスやAIの構築に活かせそうなデータを
機械学習プロジェクトでは python を始めとした言語 + それに付随したライブラリを使います。 僕も python 触りたての頃はローカルマシン上にひとつ python 環境を作り、必要なライブラリをインストールして使っていました。環境の分離ということはあまり意識しておらず、やったとしてもプロジェクトごとに anaconda や pyenv, venv などで個別環境を作って切り分けるレベルでした。 しかし上記の方法だと困ったことが起ることがあります。例えば… global な環境が壊れてしまってすべて壊れる。 これは各環境が global な環境に依存しているために起こります。 python 以外の変更で環境は突如として壊れます。例えば brew install hoge したら Mecab が使えなくなっちゃったとかはあるあるだと思います >_< linux / Mac / Win
高性能分散SQLエンジン「Trino」最速ガイド - NTT Communications Engineers' Blog
こんにちは。なんの因果かNTTコミュニケーションズのエバンジェリストをやっている西塚です。 この記事は、NTT Communications Advent Calendar 2021 22日目の記事です。 5分でわかる「Trino」 「Trino」は、異なるデータソースに対しても高速でインタラクティブに分析ができる高性能分散SQLエンジンです。 以下の特徴を持っており、ビッグデータ分析を支える重要なOSS(オープンソースソフトウェア)の1つです。 SQL-on-Anything: Hadoopだけでなく従来のRDBMS(リレーショナルデータベース)やNoSQLまで、標準SQL(ANSI SQL)に準拠したアクセスをワンストップに提供 並列処理でビッグデータに対して容易にスケールアップ しかも高速(hiveの数十倍) Netflix, LinkedIn, Salesforce, Shopif
28歳、一念発起して未経験からデータサイエンティストを志した2年間の軌跡 - Qiita
はじめに 経済産業省の試算によるとAIやビッグデータといったデータサイエンティストが関わる分野では2020年に4.8万人が不足すると言われています。 まだまだ、世の中的に需要があり、将来性のある職業ですので、これから目指そうと思われている方も少なくないのではないでしょうか。 私も時代の流れに乗って、データサイエンティストを目指した人の一人です。 「一念発揮して未経験からデータサイエンティストを目指した普通の社会人が、2年後どのような姿になったのか？」 ということに、少しでも興味のある方に読んで頂けましたら幸いです。 そもそもデータサイエンティストとは データサイエンティストは大きく分けて2種類あると考えています。 企業の課題解決のために大規模データを分析し、その結果をもとに状況の改善をすべく施策立案を行うデータアナリスト・コンサルタント寄りのDS サービスに機械学習を用いた機能を実装したり
反対意見を知れば分かりあえるのか？偏った集団でも正しい決定ができるのか？フェイクニュースほど広まりやすいのか？良好な人間関係はパフォーマンスを向上させるのか？研究者が束になってかかれば、社会的現象を予測できるのか？ こんにちは、Sansan DSOC R&D研究員の前嶋です。普段はつながりに効く、ネットワーク研究小話という連載を書いていますが、今回はここ2,3年の計算社会科学の潮流を紹介したいと思います。 計算社会科学(Computational Social Sciences)は、SNSなどのビッグデータ解析やオンライン上での実験などを用いて社会現象を定量的に分析するという、社会科学と計算機科学の融合分野です。 日本でも最近、マシュー・サルガニックによる概説書”Bit by Bit”が翻訳され、社会科学の研究者のみならず、広くその名前が知れ渡りました。日本には計算社会科学研究会というコミ
「Pythonによる医療データ分析入門」は分析100本ノック後に必読な探索的データサイエンス本だった - Lean Baseball
今年読んだデータサイエンスおよびPython本の中でも最良の一冊でした. ホントに待ち望んでいた一冊でした. 実は密かに楽しみにしてた（待ち望んでいた）*1, 「Pythonによる医療データ分析入門」, 一通り読ませていただきましたので, Pythonによる医療データ分析入門の感想 分析100本ノック後にやると良いこと 探索的データサイエンスはデータサイエンスに関わる人すべてに関係する準備運動であり入り口であること 的な話を綴りたいと思います. なお, 最初に断っておくと, 新型コロナウイルス含む, 感染症とか流行病の話は一切触れておりません！ このエントリーは純粋に「Pythonを使ったデータサイエンス」を志向した方向けのエントリーとなります. 新型コロナウイルスだの感染症関連だのを期待されている・そう思った方はぜひ他のページなどを見ていただけると幸いです. このエントリーのダイジェスト
こんにちはkamikawaです 今回は無料で利用できる機械学習、データサイエンスに関するサイトや書籍をまとめました 私自身も機械学習プロジェクトに関わった経験があるのですが、ここに載せたサイトや資料を勉強に使っていました 機械学習エンジニアを目指す人必見です 入門者レベル〜応用・発展レベルまで幅広く載せていますレベルは個人の見解です。(あくまでも参考程度に) 日本語のものと英語のものを紹介します 海外の大学の講義もあるので英語の勉強にも使えます 海外でのキャリアを考えている方も必見です 対象読者 機械学習を学びたいけどお金をかけたくない人 独学で機械学習を身につけたい人 機械学習エンジニアになりたい人 発展的な機械学習を学びたい人 日本語 Python 三重大学奥村教授のサイト 機械学習、様々な分析、スクレイピング、データ可視化、地図データ、CV、統計など幅広い分野を扱っている R編もある
2021年版：データサイエンティストを初めとするデータ分析職向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pexels from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、昨年はCOVID-19の影響で*1データ分析業界及び隣接分野の新刊書を読む機会が減ってしまいましたので、例年に比べてラインナップの変更をほとんど検討しないままでリストアップしている点、予めご容赦いただければと思います。 そして今回の記事では、これまで以上に「実務家向け」「実践的」であることを重視しています。そのため昨年までのリストに比べて大幅に刷新されているカテゴリもあったりします。また、末尾に僕なんぞが選ぶよりもずっと優れた推薦書籍リストへのリンクも付しておきました。併せて参考にしていただけると幸いです。 初級向け5冊 総論 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 PRML 機械学習の実践 Deep Learning 統計的因果推論
2020年版：実務の現場で求められるデータサイエンティスト・機械学習エンジニアのスキル要件 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は、昨年の同様のスキル要件記事のアップデートです。 正直言って昨年バージョンとの差分は殆どないのですが、一応この1年間の業界の進歩を踏まえて僅かながらアップデートしてありますので、ベースとなっているスキル要件についてさらっと概観した上で、差分となるアップデート部分について簡単にコメントしておこうかと思います。 なお、いつもながらの断り書きですが。言うまでもなく、この記事の内容はあくまでも僕の個人的な意見にして、なおかつ僕自身がこれまでの経験と見聞に基づいて「これまで自分が属してきた組織やチームにおけるデータサイエンティストや機械学習エンジニアはこうだったor今後はこうあって欲しい」という最大公約数的な経験談や願望を書き並べたものに過ぎません。よって何かの組織や団体の意見を代表するものではありませんし、況してやauthorizeされた意見として見
ホクソエムサポーターの白井です。 今回は Matthew McAteer氏によるブログ記事Nitpicking Machine Learning Technical Debtの和訳を紹介します。 原著者の許可取得済みです。 Thank you! アメリカの国内ネタも含んでいて、日本語だと理解しにくい箇所もありますが、機械学習の技術的負債をどう対処していくかについて、とても役に立つ記事だと思います。 Nitpicking Machine Learning Technical Debt (機械学習の技術的負債の重箱の隅をつつく) イントロダクション Part1 技術的負債はあなたの予想以上に悪い Part2 機械学習の漠然とした性質 Part3 (通常の依存関係の頂上にある) データ依存関係 Part4 イライラさせるほど未定義なフィードバックループ 後編に続きます Nitpicking Ma
OpenAIのBatch APIを使ってお得にプロンプトを一括処理してみる - Taste of Tech Topics
はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri
はじめに データサイエンスや機械学習っておもしろそう！と思いつつも、どうやって勉強をしたら良いかわからない......と感じた経験はありませんか？ ちなみに自分もその一人です。 この記事では、機械学習ってそもそも何？ AIという言葉は知ってるけど詳しいことはわからないというような初学者でも、知識・経験を積んで機械学習に取り組めるようにするために必要な基礎の基礎から学ぶための勉強法を自分の経験をもとに紹介します！(ここで紹介するものは機械学習の中級者以上の方でも基礎知識の復習として活用できるものかなとも思っています） この記事の続編(データサイエンスはじめて1か月以内で参加したコンペで銀メダル(上位3%)とるまで！)はこちら 概要 (基本的にはこの3stepです) 基礎知識をつける(単語・用語の理解) ライブラリの使い方を理解 実際にコンペに挑戦(Kaggle) 1.機械学習&ディープラーニ
ChatGPT Code Interpreter でTitanic生存者予測にチャレンジ - Taste of Tech Topics
近頃、夜食づくりにはまっているkonnoです。 データ分析もできると話題のChatGPT Code Interpreterを使えば、機械学習もお手軽にできるのでは…？ ということで、Kaggleチュートリアルとして有名な「Titanicの生存者予測」を ChatGPT Code Interpreterを使って分析できるのか 試してみたいと思います！ Titanic生存者予測とは？ かの有名のタイタニック号の乗員名簿と、事故で生存したか否かのデータを機械学習し、乗員の属性（性別、年齢、乗船時の運賃など）から生存したか否かを推定する課題です。 よく考えるとひどい設定ですね。 話題のわかりやすさと、それなりに特徴的な結果が出るところから、機械学習の初学者がやる練習問題として世界的に有名です。 データはKaggleさんから取得できます。 www.kaggle.com 機械学習を利用してTitani
このたびご縁があり、Pythonを用いたKaggle入門書を講談社から出版する運びとなりました*1。現在デザインや校正などを進めている段階で、発売開始は2020年3月17日を予定しています。 https://www.amazon.co.jp/dp/4065190061 同人誌ながら累計2500部以上を売り上げている『Kaggleのチュートリアル』*2を執筆したカレーさんとの共著です。 私がQiitaに投稿した「Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～」*3と、カレーさんの『Kaggleのチュートリアル』を基にした書籍です。この2つのコンテンツを土台に、さらなる内容も盛り込みながら「初学者向けのKaggle入門書の決定版」を目指して執筆を進めています。 本書の前半では、初学者向けチュートリアルの「Titanic
【2020年版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法 - Qiita
AI Academy Bootcamp ６ヶ月35,000円にてチャットで質問し放題の環境で、機械学習やデータ分析が学べるサービスを提供しております。 数十名在籍しているデータサイエンティストや機械学習エンジニアに質問し放題の環境でデータ分析、統計、機械学習、SQL等が学べます。AI人材に必要なスキルを効率よく体系的に身に付けたい方は是非ご検討ください！ https://aiacademy.jp/bootcamp この記事の対象者 ・将来Pythonでデータ解析をしたいと考えているが、何から手をつけたら良いか知りたい方 ・将来、人工知能に関連した業務に携わりたいと検討中の初学者の方 ・未経験者からAIエンジニアになりたく、そのためにどのような知識が必要か知りたい方 ・AIプログラミングスクールや専門学校に進学しようか考えているが、独学で勉強できる方法を知りたいという方 対象ではない方 ・既
【Team & Project】LINEの機械学習を活用したサービス開発を担当しているチームを紹介します
LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。今回は、LINEの機械学習を活用したサービス開発を担うMachine Learningチームを紹介します。Machine Learningチームのそれぞれのポジションで開発を進めている4名（菊地悠、齋藤祐樹、櫻打彬夫、境美樹）に話を聞きました。 ―― まず、自己紹介をお願いします。 菊地：2017年10月にプロジェクトマネージャーとして入社しました。前職は携帯電話キャリアでソフトウェア畑の研究系業務からスタートし、転職直前は位置情報系サービスの分析・開発に携わっていました。現在はチームのマネージャーとして、プロジェクトや業務の管理を行なっています。 齋藤：前の会社では広告のCTR予測やショッピングサイトのランキン
機械学習初心者がKaggleの「入門」を高速で終えるための、おすすめ資料などまとめ（2020年3月版）｜カレーちゃん🍛専業kaggler｜note
2018年6月末に公務員を退職し専業kagglerになり、2022年5月KaggleGrandMaster。 現在は、広告の効果予測の研究・開発をしています。 ChatGPTの本を執筆中。まもなく出ます。
これはなにか なぜ忘れる必要があるのか なぜ忘れさせてほしいのか 競プロが面白くなってきたので本気でAtCoder青を目指したい 機械学習が面白くなってきたのでE資格取るところまで行きたい 年齢を忘れる期間が2年間である理由 おわりに これはなにか 2020年5月から2022年3月の間は自分が34，35歳のおっさんであることを忘れさせて欲しい件に関するexcuseである． なぜ忘れる必要があるのか 時々自分の年齢を思い出すと「同年代の友人たちは子育てに忙しい一方で俺は仕事とAtCoderの精進に忙しい．実は相当問題のある生き方をしているのではないか．」と不安になる．その問に対する問答を脳内でシミュレートすると，10 hop程度の問答を経ていつも同じ結論に帰着する． 「褒められた生き方ではないかもしれないが，やりたいことをやって，その結果社会に役に立つoutputをしてお金を稼げるようになり
「○○100本ノックとは」？ プログラミング関係のエクササイズ集・Tips集的なものです。ちょっとしたテクニックや、基礎がまとまっているので解いてみると練習になります。 最初にやるのは退屈かもしれませんが、学習の停滞期にやってみると、思わぬ発見があるのではないかなと思います。 この記事では、Python関係の100本ノックを簡単にまとめてみました。自分が知っているのは、以下くらいですが、他にも良いもの（絶対ある気がします）知っている人はぜひコメントなどで教えてください。 画像処理100本ノック 画像処理100本ノック!! 追記：本家が惜しくも無くなってしまっていたので、fork（？）されていたものにリンク張り替えました。 解説・Google Colaboratoryで実行するときは以下記事参考にしてみてください。 ディープラーニング ∞本ノック 注：元サイトが消えてしまったので、私がfor
はじめに UKIです。久しぶりの記事執筆となります。 本記事は、仮想通貨botter Advent Calendar 2023の1日目の記事となります。 本記事の目的 仮想通貨botterと言っても様々なスタイルがあります。 筆者のbotスタイルは、「主に流動性の高いCEXにおいて、価格の上下を予測してトレードする」というオーソドックスなスタイルです。価格予測には単純なルールベースを使うこともありますが、最近ではガッツリ機械学習を用いてこれを予測することが多くなってきています。 さて本題に入りますが、皆さんは機械学習で価格予測モデルを構築するとき、「回帰問題」とするか「分類問題」とするか悩んだことはないでしょうか。 本記事では、トレーディングの効用を最大化するために、機械学習の問題設定をどのようにすべきか論じます。 参考書籍・参考文献 評価指標入門〜データサイエンスとビジネスをつなぐ架け橋
データサイエンティスト・機械学習エンジニア・データアーキテクトの定義とスキル要件（2021年版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Dirk Wouters from Pixabay) この記事は毎年恒例のスキル要件記事の2021年版です。昨年版は以下のリンクからご覧ください。 今回は、試験的に「データアーキテクト」についても触れています（詳細は後述）。残り2つの職種については基本的な内容はそれほど大きくは変わっていませんが、先般公開した推薦書籍リスト記事の時と同じ変更点が一つだけあります。それは「機械学習エンジニアのスキル要件」は今回は想定していない（というか例示できない）という点です。これまた詳細は後述しますが、端的に言えば「分野ごとの細分化が過剰に進んでいる」という印象があるためです。 ということで、前回までとは違って「職種ごと」に定義とスキル要件（書けるようであれば）を挙げていくスタイルになっています。なお、言わずもがなですが以下に挙げる3職種の説明は僕個人のこれまでの経験や見聞や伝聞をもと
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全エンジニア必見！情報収集のためのリンク集 - Qiita
生成 AI で僕らのプログラミング勉強はどうなるのか？ - Qiita
機械学習エンジニアに爆速でなるための教材集 - Qiita
自然言語処理でBERTまでの流れを簡単に紹介 - moriyamaのエンジニアリング備忘録
学習が何で律速してるか、把握してますか？ - arutema47's blog
Kaggleで勝ちっぱなしのデータサイエンティストに話を聞いてみた | AI専門ニュースメディア AINOW
データサイエンティスト職に未経験が転職活動した結果 - Qiita
環境音認識のコンペティションDCASE2020で世界1位を獲得しました
【厳選】機械学習の学習におすすめのTwitterアカウント40選 - Qiita
サッカーを強化学習する - 思考の本棚
Kaggleで銅・銀・金メダルを取るプロセス｜カレーちゃん
高速で持続可能な開発のためのソフトウェア工学と機械学習への適用
脳みそが固くなったおじさんSEが機械学習を勉強してみた - Qiita
【保存版】オープンデータ・データセット100選 -膨大なデータを活用しよう！ | AI専門ニュースメディア AINOW
機械学習のための環境構築とその管理 - nykergoto’s blog
ここ最近の計算社会科学の動向 - Sansan Tech Blog
無料、独学で機械学習エンジニアになる！~機械学習が学べる無料サイト、書籍~ - Qiita
【翻訳】機械学習の技術的負債の重箱の隅をつつく (前編) - 株式会社ホクソエムのブログ
機械学習をゼロから学ぶための勉強法 - Qiita
Pythonを用いたKaggle入門書を2020年3月に講談社から出版します - u++の備忘録
しばらく34，35歳のおっさんである事実を忘れてみる - seri::diary
Python関係の「○○100本ノック」のまとめ - Qiita
トレーディングのための機械学習問題設定 - Qiita