Kaggle Expertになったので、イキってポエムを書こうと思いました。 AIに興味あるけどプログラミングすらできないんだよねという人向けの参考になれば幸いです。 1. 初期スペック (2019年2月) 機械工学系修士卒。よくいるメカニカルエンジニア 線形代数も統計も正直そんなに好きじゃない。力学の方が得意。 AI？あれでしょ。将棋超強いやつでしょ？ パイソン？スト２のボクサーみたいなやつ？ 2. 現在のスペック (2019年12月) Kaggle Expert (微妙?) 機械学習コンペでそれなりの成績 (Kaggle Kuzushiji Recognition 7th,Signate tellus 3rd 5th) 機械学習：なんとなくコーディングできる。 深層学習：なんとなくコーディングできる。 関連論文読める。簡単なものは実装できる。 業務適用も見えてきた 3. 機械学習を学ん
これは何？ この記事は Kaggle Advent Calendar 2021 の7日目の記事です。 pandasはデータ分析ライブラリとして非常に便利ですが、書き方を間違えると簡単に処理が遅くなってしまうという欠点があります。そこで、この記事では遅くならない書き方をするために気をつけたいポイントをいくつかご紹介したいと思います。 この Colab Notebookの実行結果をエクスポートした上で、不要な部分を一部削って記事にしています。colab notebook をコピーして実行してもらえれば再現することが可能なはずです。(colabにコメント等をいただいても返すことはできないと思います、すみません。) 前提条件 この記事ではあくまで「遅くない(なりづらい)書き方を紹介する」ことに努めます。よって、以下のような改善点はあるが一旦考慮の外におくものとして話を進めます。 並列化ライブラリ
戦力になるレベルのデータサイエンティストを育成することの難しさ - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pexels from Pixabay) 僕自身がデータサイエンティストという肩書きを与えられて働くようになった9年前から、一貫して問題意識を持ち続けてきたのが「データサイエンティストをどう育成すべきか」についてでした。その後、この9年の間に質の良し悪しや量の多寡はともかく多くのデータサイエンティスト向け技術講座・資料が沢山世に出るようになり、一見その育成体制はそれなりに整ってきたように見えます。 以前議論していた「何故戦力になるレベルのデータサイエンティストが育たないのか」4項目を発掘して面白かった 1. 実戦可能レベルになるまでの学習量が多過ぎる 2. 『知っている』から『使いこなせる』への溝が深い 3. コミュニケーションで死ぬ 4. ビジネス価値と結びつけて自走するところに溝がある— TJO (@TJO_datasci) 2021年6月1日 しかし、当事者たちか
機械学習初心者がKaggleの「入門」を高速で終えるための、おすすめ資料などまとめ（2023年12月版）｜カレーちゃん
機械学習初心者がKaggleの「入門」を高速で終えるための、おすすめ資料などまとめ（2023年12月版） こんにちわ、カレーちゃんです。Kaggle GrandMasterです。 Kaggleはデータサイエンスに入門するのにとても適しています。ですが、英語の問題などがあり、入門するのが難しい。そこで、Kaggleの「入門」をこうすれば高速に完了できるというnoteを書きます。 同じタイトルの記事を、2020年8月にも書いたのですが、それから2年以上がたちました。それから、おすすめできる資料が増え、また、私が思う入門のコースもやや変わりましたので、更新をしたいと思います。 1.Kaggleに入門（はじめに取り組むと良い資料）Kaggleには、「タイタニックコンペ」という、練習用のコンペがあります。 これは、事故が起こったタイタニックの乗客のデータから、乗客の生死を予測するという、やりたいこと
TL;DR（思ったよりもかなりの長文になってしまったので*1、時間がないという方は1番目と2番目のセクションの冒頭だけお読みください） しんゆうさんの舌鋒鋭いブログ＆note記事にはいつも楽しませていただいているのですが、この記事は一点僕のデータ分析業界の認識に新たな視点を与える話題があって特に目を引きました。それが以下の箇所です。 資格があるわけでもないので名乗るのは自由だし、未経験だろうが文系だろうがそれはどうでもいいのだけど、傍から見ていると「サイエンティスト」と名乗っているわりには「サイエンス」な話をしていないなぁとは思っている。（中略） 現在起きている第３次データサイエンティストブームは「データサイエンティストと名乗りたい人」が盛り上げているように見える。 （太字筆者） この問題は、このブログの前々回の記事でも取り上げています。 ただ、僕はこういう「データサイエンティストになりた
はじめまして、岩崎です！「APN AWS Top Engineers/APN Ambassadors Week」の4日目の記事を書かせて頂くことになりました。この度、元々モバイルアプリしか作ってこなかった私が、「2021 APN AWS Top Engineers」になることができました。ちょうど良い機会でもあるので、NRIネットコムに入社してから取り組んだことをざっくりと整理していきたいと思います。 はじめに 昨今、一口にフロントエンドエンジニアと言ってもアプリを開発するだけではなく、プロジェクト規模によってはCI/CDの仕組みを構築・管理したり、アプリに機能やコンテンツを提供するためのバックエンドを構築したり、はたまたプロジェクト管理もしてみたりと、エンジニア一人に要求される専門性がますます多様化しているように感じます。おそらく、多方面で起こっている「技術の民主化」の流れが進んでいくに
ChatGPTのGPT-4Vを使ってSQL文を画像から作成する - Taste of Tech Topics
igaです。 ポケモンsleepを継続していますが、カビゴン評価がマスターになれません。 ChatGPTが見たり、聞いたり、話したりできるようになる、と言われている「GPT-4 with vision (GPT-4V)」が使えるようになったので、早速使ってみたいと思います。 openai.com 今回は、データベースのテーブル関連図を画像ファイルでもらった想定で、画像からテーブルのDDLが生成できるかを確認してみます。 やりたいこと 以下のような、テーブルの関連図とサンプルデータが描かれた画像ファイルをもらいました。 この画像ファイルをChatGPT-4に渡して、SQLのDDLが生成できるか確認します。 画像を解釈できるか確認する いきなりDDLを作らせる前に、まずは画像ファイルに書かれたテーブル構造を、マークダウンで出力してもらいます。 プロンプトの入力欄の左に絵のアイコン（画像の赤で囲
はじめに Step 1, 2, 7に関しては、時間がなければやらなくてもいいと思います。 1. 統計を学ぶ 統計検定2級の取得 2. MLの原理を知る Machine Learning -coursera 勾配降下法の最適化アルゴリズムの概要 3. Pythonを学ぶ Python -Google 4. MLの基礎を学ぶ Machine Learning Crash Course MLでのデータの準備 フルスクラッチで勾配降下法を実装する フルスクラッチでkNNを実装する KMeansアルゴリズムとSVMを操作する方法 kNN, SVM, XGBoostの視覚化 勾配ブースティングとXGBoost Kaggle Masterが教えるXGBoost 決定木のスキルをブラッシュアップする 他に触れておきたいところとして、 LightGBM Gradient Boosting などがあります。(
海外就職： シンガポールでデータサイエンティストとして働くまでの話｜Yusuke Minami @Minyus86
シンガポールに来た経緯、Resume、OSS、Kaggle、（コーディング）面接対策、給与交渉体験、就労ビザについて、以下の方向けに書きます。 ・ 外資系企業との英語面接を控えている方 ・ 海外、特にシンガポールでの就職に興味がある方 ・ データサイエンティスト、MLエンジニア、ソフトウェアエンジニアとしてのキャリアに興味がある方 前置き ・ こちらの記事は全文無料で公開していますが、最後にお願いがあります。 ・ 技術的な内容を含みますが、その部分は読み飛ばしていただいても問題ありません。 ・ あくまでも一個人の体験に基づきますので、参考にされるかどうは自己判断でお願いします。 シンガポールに来た経緯 私は2010年1月にエンジニアとして東京で働きはじめ、主に製造、自動車業界向けのセンサーデータ処理、解析、シミュレーション、コンピュータビジョンといったアプリケーションに携わっていました。
この記事はpyspaアドベントカレンダー2021の三日目です。前日の記事はykubotaさんです。 はじめに 「自分には才能がある！」と信じてこの業界に踏み込んだものの右も左も怪物だらけで形見が狭い思いをしているのは僕だけではない。 憧れるのは異世界転生のような俺TUEEEE展開であり「何ってクイックソートをしただけだが？」とか言ってたら地位と名声が向こうから転がり込んできて欲しい。 しかし世の中そんなに甘くなく、標準ライブラリを使って威張れるのは学生ぐらいのものである。 学生？そうだ！学生の頃から精進しまくっていたら今ごろすごいソフトウェアエンジニアになれていたはずなんだ！という後悔を抱えて生きている社会人が世の中にはいっぱいいる。 そんな立場から若者を見ていると「大学に入ってプログラミングを始めました」という大学生を見かけるたびにアドバイスをしたくなる衝動に駆られるが、毎度同じような事
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Developer Relations アドボケイトの山本です。 ヤフーにはエンジニアやデザイナーといったクリエイターの活動を支援する制度「My Polaris」があり、その中の1つにクリエイターが常に自身の技術力向上を図れるよう学習活動を支援するための「技術活動費用補助制度」というものがあります。 去年8月に2018年4月から2019年3月の期間でこの制度がどのように活用されたか集計した結果を公開したのですが、本記事では2019年4月から2020年3月の集計結果を紹介します。 昨年の記事：ヤフーのクリエイターが読んでいる技術・デザイン書 〜 技術活動費用補助制度のデータから見る興味関心 技術活動費用補助制度とは？ 冒
似た文書をベクトル検索で探し出したい ~SentenceTransformersとFaissで効率的にベクトル検索~
はじめに この記事では、ベクトル検索で似た文書を検索するコードを解説します。具体的には、Sentence Transformersライブラリを用いてベクトル化、Faissという近似最近傍探索ライブラリを用いて高速な検索を行います。 用語説明 ベクトル検索 ... 文書の検索にベクトルを使用する方法。例えば、文書に映画に関する内容が 10 %、音楽が 2 %、俳優が30%含まれていた時、シンプルにそれを表すと [0.1, 0.02, 0.3]というベクトルを作ることができる。Googleの説明が詳しい。 Sentence Transformers ... ベクトル検索に必要なベクトル化を行うためのライブラリ Faiss ... ベクトル同士の類似度を高速に検索してくれるライブラリ。以下のHakkyさんのページが詳しい。 コード 入力：検索したい文字のリスト、検索される文字のリスト 出力：どの
自分流エンジニアの歩み方 - ytake blog
これは先日、株式会社アイスタイルにて参加した社内むけで話した内容を清書したものです。 （現在は株式会社アイスタイルの社員ではありませんが技術顧問的な立場でサポートさせていただいてます） 対象として、初学者やエンジニアなりたての人向けではありませんが、 2、3年目の方とかが読むといいのかもしれません。 自分流のこれまでのやってきたものだったりマインド的な話だったりそういうもので、 これをやれば誰もがエンジニアとして成長できる！というわけではありません。 参考にできるところは参考にするか、ヒントにするとか息抜きに読むくらいがちょうど良いです。 加えて将来CTOだったり、技術顧問という立場になりたい、という方にもいいかもしれませんが、 自分のスタンスだったりが多く含まれていますので、 世間一般で求められてるCTOだったり技術顧問との乖離があったりするところもあると思います。 参考にできるところは
みなさん、こんにちは!! こちらは「ABEJAアドベントカレンダー2020」の10日目の記事です。 2日目に続き２回目の登場ですが、また仕事関係ない話です。 11月中旬：遠方に引っ越すことが決まった ここから、このプロジェクトは始まりました。 年内目標での引越しです。 なかなかの短期プロジェクトです。 ※ちなみに転勤や転職ではなく家庭の事情です。ABEJAではフルリモートで働き続けます。 早急に物件を探さねければ 引越し目標まで１ヶ月半、時間がありません。 そして引越し先は実家のある名古屋とまでは決まっているのですが、あまり土地勘がありません。 そのため、どのあたりに住むのがいいのか？それもあまり分かりません。 まずは、賃貸検索サイトで探します。 。。。どの物件も今（横浜）よりは安いです。お得そうです。 でもどれが良いかなかなか絞り込めません。気軽に内覧行ける距離でもありません。 機械学習
Azure OpenAI Service 「on your data」 で独自データを使ったチャットを実現する - Taste of Tech Topics
こんにちは、igaです。 先日は台風の影響が出る前に出かけられて、リフレッシュできました。 今回は、Azure OpenAIとチャットする際に、独自データを使用してみます。 独自データの使用（原文の表記はon your data）は、2023年8月現在パブリックプレビューとして利用できる機能です。 techcommunity.microsoft.com 独自データの使用（以降、on your dataと表記します）により、例えば企業内ドキュメントやFAQをAzure OpenAIに検索させることで、ユーザーからのチャットでの問い合わせに対して企業内ドキュメントやFAQを検索した結果をAzure OpenAIがチャットの応答として返すことができるようになります。 今回は、on your dataを利用するまでの流れを試したいと思います。 on your dataのポイント on your d
はじめに 一般の方は耳にしたことがないだろうが、「Numerai（ヌメライ）」というヘッジファンドがある。2016年後半から2017年前半くらいにWiredやForbes等のメディアに取り上げられ、界隈で少し名が知られるようになったヘッジファンドだ。このヘッジファンドはいわゆるクラウドソーシング型ファンドと呼ばれる、不特定多数の人間による株価の予測結果をもとに運用するヘッジファンドである。 筆者も2017年頃、Numeraiに参加したことがある。Numeraiの方式は予測結果に基づいてランキングされるトーナメント方式であり、つまりKaggleのようなものだ。トーナメントは毎週開催され、ランキング上位には暗号通貨で報酬が支払われる。しかし当時のトーナメントは、ランキングの基準が不明瞭であり、その順位変動がとてつもなく激しく（TOP10に入っていたのに翌週は100位以下に落ちる等）、いわゆる運
機械学習について一回挫折してしまったエンジニアが何とかお仕事で機械学習を使えるようになるまで - Qiita
初めに 4x歳越えのエンジニアにとって機械学習は何やらややこしいもの、本を開けば数式があり、pythonがあり、何それおいしいの？5年ほど前にCourceraで機械学習を学ぼうとしたがあっさりAndrew Ng先生はWeek4で挫折。"教師付き学習"と"教師なし学習"のちがいなんだっけ？ 想定している読者 IT業界で別のキャリアを持っていて機械学習のキャリアをみにつけたい、あるいは身につけようとしたが挫折してしまった人 自分のキャリアについて ホストの開発エンジニアから始まり、クライアントサーバー、Webアプリと開発系を云十年。その後ネットワーク、インフラ系を主な仕事にしています。 機械学習とのかかわり 5年ほど前に機械学習の勉強をしようとしたが、何をやっているか意味が分からず、あっさり挫折。その後は雑誌などで読む程度。 注）データ分析・機械学種・人工知能については、この文章では厳密に分け
これはなに？ kaggle本を読んで血肉になった/したい点をなぐり書きにしたただの個人用メモです。ちゃんとした書評を書こうと思い続けてはや半月以上経過したので一旦書きました。 この箇条書きの記事だけ読んでも多分内容わからないと思うので、気になった点があればぜひ購入しましょう！読後すぐに書いた推薦ツイートは以下のとおりです。 kaggle本読み終わりました。初心者にも良い本だと思いますが、ExpertやMasterなりたての人が最も恩恵を得られそうだなと感じました。自分の今までのコンペ経験を思い返しつつ、その中では経験できなかった内容を学ぶことができ「賢者は歴史に学ぶ」が可能になった感があります。著者の方々に感謝です！— ML_Bear (@MLBear2) October 23, 2019 リンク Chap. 2 - タスクと評価指標 「しきい値の最適化」という概念 正例か負例のラベルを提
機械学習・ディープラーニング関係の初心者が独学するのにオススメの書籍 - karaage. [からあげ]
機械学習・ディープラーニング関係の本を整理してみた 以下のような事情もあり、初心者向けに良い本って何だろうなと家にある機械学習・ディープラーニング関係の書籍を引っ張り出してきました。 新入社員としてAI人材が来るという話を聞いていたので「色々教えてもらおう！」と楽しみにしていたのですが、配属直前になって「ソフトウェアの経験は無いらしい、AI人材に育ててほしい」と言われたときの顔してます。そんなことある？— からあげ (@karaage0703) June 5, 2020 紙の書籍 電子書籍 正確には、紙の本も電子書籍もここに無いもの（noteやboothで買ったもの）が数冊あるので、全部入れて40冊程度でした。なんとなく100冊くらいは読んでるかと思っていたのですが全然でした。人間の感覚って当てにならないものですね。ただ、良く考えると、何か1つのジャンルで10冊も書籍持っているかというと、
![機械学習・ディープラーニング関係の初心者が独学するのにオススメの書籍 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/d2c27fde8403965100126027d1906217e802281c/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200613%2F20200613150727.jpg)
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 デザインディレクション・ブック 橋本 陽夫 現場のプロがやさしく書いたWebサイトの分析・改善の教科書【改訂3版 GA4対応】 小川 卓 解釈可能なAI Ajay Thampi(著), 松田晃一(翻訳) PowerPoint 目指せ達人 基本&活用術 Office 2021 & Microsoft 365対応 PowerPoint基本＆活用術編集部 ランサムウェア対策 実践ガイド 田中啓介, 山重徹 TODによるサステナ
【年収1000万円】1.SQL 2.python 3……これらを3ヶ月ガチるだけであの高給取り職「データサイエンティスト」になれることが判明！ MARCHと同じレベルとかお前らなら余裕よな？ : ライフハックちゃんねる弐式
2020年07月04日 【年収1000万円】1.SQL 2.python 3……これらを3ヶ月ガチるだけであの高給取り職「データサイエンティスト」になれることが判明！ MARCHと同じレベルとかお前らなら余裕よな？ Tweet 73コメント ｜2020年07月04日 12:00｜職業｜仕事・勉強｜Editタグ ：データサイエンティスト データサイエンティストになりたい人が踏むべき手順 1.SQLを勉強 2.pythonを勉強 3.データ加工を勉強(主にpandas) 4.統計学を勉強 5.機械学習を勉強(主にscikitーlearn) 6.kaggleに挑戦 7.転職 これだけ。 ガチでやれば3ヶ月でいけます。— 北谷 駿(文系だけどpythonいじれるらしい) (@a92803753) July 1, 2020 当ブログサイトはアフィリエイト広告、バナー広告を利用しています。 そうですね
こんにちは、AppBrewでアルバイトをしている@Leoです。 自然言語処理の研究室に最近入った大学生で、趣味はKaggleと競技プログラミングです。 AppBrewでは、LIPSの投稿を使ったデータ分析をしています。 今日の記事では、弊社のアプリLIPSにて投稿ジャンルを機械学習を使って自動推定した方法を紹介します。 自然言語処理・確率関係全然わからない！という人でも読みやすい内容になっていると思うので、最後まで読んでいただけると幸いです！ LIPSにおけるジャンル 教師データの作成 ナイーブベイズ 単語分割 モデルの実装 分類結果 おわりに LIPSにおけるジャンル 最近、LIPSにジャンル機能が追加されました。 これは投稿されたクチコミにジャンルを設定できる機能です。 適切にジャンルを設定すると、投稿を検索するときにジャンルを使って絞り込めるなどの利点があります。 ジャンルは7種類（
「データサイエンス100本ノック」の生みの親はなぜ「3言語のサポート」と「Docker」にこだわったのか
2020年6月15日、一般社団法人データサイエンティスト協会（以下、データサイエンティスト協会）は、データサイエンス初学者が構造化データの集計・加工を効率的に学べる演習環境「データサイエンス100本ノック（構造化データ加工編）」を、「GitHub」で無償公開した。公開直後からデータサイエンスに関わる技術者の間で大きな話題を集め、その内容や利用法を紹介するコンテンツがネット上で数多く公開された。 このデータサイエンス100本ノックの「生みの親」ともいえるのが、データ解析設計事務所の森谷和弘氏だ。同氏はフリーランスのデータサイエンティストとして活動する傍ら、データアナリティクスラボの取締役CTO（最高技術責任者）として、データサイエンティスト人材を一から育成して企業に派遣する事業に携わっている。 本稿では、データサイエンス100本ノックのこだわったポイントや活用するためのコツ、今後の展望につい
AI News という、AI・データサイエンス(DS)・機械学習(ML)関係の話題を集め、AIで3行に要約して配信するサイトを公開しました。twitter @AINewsDev や Atomフィードでも配信しています。数日前から運用していて、手前味噌ですが便利に情報集めに使えています。また英語記事も日本語で要約されるので便利です。 なぜ作ったのか 以前、 @syou6162 さん作の ML-News で、ML系の情報を便利に読ませてもらっていたのですが、Twitter API の有料化の話が出た前後で閲覧できないようになってしまったようでした。 そのため、DS・ML系の話題を追いかけるのが大変になって、そのうち同じようなサイトを作ろうかな、と思っていた所でChatGPT(GPT4)というふつうに便利なLLMが登場しました。その後は御存知の通り、それらの話題が大量に溢れ、情報過多で見きれない
以前にこちらのブログを書いて、その後も継続して読まれているようなので、近況をアップデートしておきます。 私は誰？高山です。2020年からNewsPicksでCTOをしています。上の記事を書いたときはピクシブでCTOをしていました。 2017年頃からぼんやりと大学院入学を考えはじめたのですが、そしたらたまたまイリノイ大学のことを知って書いたのが上の記事です。それから1年ほどかけて準備して出願して、ちょうど転職した月とまったく同じ2020年の2月に入学して社会人大学院生をしています。 コースについてまず、University of Illinoisと名の付く大学にはUrbana-Champaign (UIUC)とChicago (UIC)とSpringfield (UIS)の3つの大学があります。これらは別々の大学です。早稲田と慶應ぐらい別物だと思います。 Courseraで入学できるのはUI
世界有数の研究者やITエンジニアが集うAI企業Preferred Networks（PFN）。秋葉拓哉さんは、同社で機械学習基盤の執行役員を務めている。前職は国立情報学研究所の特任助教で、世界最高峰の国際会議で多数の論文が採択される研究者だった。さらに競技プログラミングのコンテスト「TopCoder」では、世界で数十人しかいない「ターゲット」というレベルに達し、データ分析コンペティション「Kaggle」では、世界で200人ほどの「Kaggle Grandmaster」の称号を得ている。 競技プログラミングとKaggleでその道を究めた秋葉さんは、習得したスキルや知識をどのように業務に生かしているのか。挫折を味わいながらも、それを乗り越えてきた秋葉さんのキャリアをひもとく。【松本香織、羽田顕人、斎藤公也】 〈Profile〉 秋葉 拓哉（あきば・たくや） 株式会社Preferred Netw
こんにちは、らくからちゃです 2年連続ステイホームのゴールデンウィークになりそうです。 もはやゴールデンウィークって普段何してたのか忘れかけてきたので、過去の履歴を漁ってみたら、一昨年は伊豆半島の東側をぐるぐる回りながら下田までいってたみたいです。 そういやコロナ前のゴールデンウィークって何してたんだっけ？と思ってGoogleフォトのフォルダ漁ってみたら、伊豆半島をぐるぐるしてたらしい。 また落ち着いたら行きたいなあ。 pic.twitter.com/N0fNxIZ5Uq — らくからちゃ@育休中専業主夫 (@lacucaracha) 2021年5月3日 こんなどこにも行けない日には、家でデータ分析をするに限りますね！！（鼻息） 統計局が、e-statを使って遊ぶ方法も教えてくれるそうなので、ご興味がある方は是非！ gacco.org 統計として公開されているデータを眺めてみるのも面白いっ
ChatGPTのプロンプトを自動改善するPrompt Perfectプラグインを使ってみた - Taste of Tech Topics
カメラ好き機械学習エンジニアの@yktm31です。 ChatGPTは便利ですが、プロンプトの内容でいかに質問・指示するかで、その精度はだいぶ変わってきます。 うまく質問・指示するのは、工夫が必要だったりしますが、そこで役立つのが、「Prompt Perfect」というプラグインです。 www.blog.promptperfect.xyz Prompt Perfectは、ChatGPTへのプロンプトの内容を自動で改善してくれるプラグインです。 本記事では、その使い方や効果について、試していきます。 プラグインを有効化 使い方 基本の使い方 日本語で回答させる もう一つ試してみる Prompt Perfectの補完内容 注意点 まとめ プラグインを有効化 1) プラグインを有効化するため、Plugin storeからインストールします。 2) インストール後、メールアドレスの登録か、Googl
機械学習研究者＆エンジニアが頭を抱える実験管理に役立つツールを比較した - のんびりしているエンジニアの日記
皆さんこんにちは。 お元気でしょうか。GoogleQA20thで悔しいけど楽しかったです。 自然言語処理のみのコンペを真面目に挑んだのは初で、勉強になることが多かったです。 今回は実験管理ツールの紹介と比較をします。 特徴がわかる範囲で簡単に実装も書いているので、参考にしてみてください。 実験管理ツール 実験管理の必要性 実験管理ツールの要件 実験管理ツールの紹介 Excel Excelとは 良い点 欠点 mag magとは サンプル実装 良い点 ここが少し残念 Weights and Biases Weights and Biasesとは サンプル実装 良い点 ここが少し残念 MLFlow サンプル実装 良い点 ここが少し残念 まとめ 最後に 実験管理ツール 実験管理の必要性 コンペティションや研究では多くのハイパーパラメータや構造などに対して様々な変更を加えます。 私の場合の例ですが、
社内の技術共有会での発表資料です。 AI搭載エディタCursorの機能の紹介とKaggle等の機械学習コンペで使ってみて役立った点などを共有します
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。野澤氏は、Google Colabとvscodeを用いて作るデータ分析環境とその運用について発表しました。 機械学習の勉強環境の1つ「Google Colaboratory」 野澤哲照氏（以下、野澤）：「Google ColabとVSCodeを用いたデータ分析環境運用Tips」ということで、野澤が発表します。 最初から免責で申し訳ないのですが、今日紹介する方法はGoogle側が推奨している方法ではないので、急に使えなくなる可能性もあります。そこだけご了承ください。 今日話す内容ですが、ざっくりGoogle Colab（Google Colaboratory）とVSCodeを紹介して、最終的にどういう環境が作れるかというところと、環境構築手順・運用時のポイントなどを話
ホクソエムサポーターの白井です。学生時代は自然言語処理の研究をしていました。 「今年読んだ論文、面白かった５つ」というテーマで、自然言語処理(NLP)の論文を紹介します。 主にACL anthologyに公開されている論文から選んでいます。 はじめに 今年のNLP界隈の概観 1. Text Processing Like Humans Do: Visually Attacking and Shielding NLP Systems 面白いと思った点 2. Errudite: Scalable, Reproducible, and Testable Error Analysis 面白いと思った点 3. Language Models as Knowledge Bases? 面白いと思った点 余談 4. A Structural Probe for Finding Syntax in Word
限定の先行販売*1で紙版を入手した『Kaggleで勝つデータ分析の技術』（技術評論社）を読みました。なお電子版をご恵贈いただく予定です。 gihyo.jp 10月7日の発売を待たずして Amazon*2のベストセラー1位になるなど、注目を集めています。 既に著者の一人である threecourse さんは、執筆者視点で見どころを紹介しています*3。 本記事では一人の読者、そして Kaggler の視点で書評を記します。なお私は既に1年以上 Kaggle に取り組んでおり、一定程度の知識を有している視点からの書評になります*4。 本書の魅力 1. データ分析コンペのテーブルデータコンペに注力して書かれた「教科書」である 2. 技法のみならず筆者および関係者の実体験に基づいた集合知も言語化されている 3. コードが公開されている どんな人に本書はお勧めか Kaggleに取り組んだ経験があり、更
Kaggleで勝つデータ分析の技術: 今までの機械学習本と全く違う最強の実務本 - nykergoto’s blog
この度光栄なことに著者の @Maxwell さんから「Kaggleで勝つデータ分析の技術」 を献本いただきました。 私事ですがこのような形で献本頂いたのは初めての経験だったのでとてもうれしくまた恐縮している次第です。 光栄なことに @Maxwell_110 さんからKaggleで勝つデータ分析の技術を頂きました〜 目次の充実が話題になってましたがサラッと見ただけでも濃い内容満載で読むのワクワクです😆 https://t.co/VTKmsR5Z6s pic.twitter.com/yuRS72YyTs— ニューヨーカーGOTO (@nyker_goto) October 2, 2019 「せっかく本を頂いたので書評をかこう!!」と思ってここ数日読み進めていたのですが、この本が自分がここ一年ぐらいで読んだ機械学習に関連する本の中でもずば抜けて内容が濃くまた情報量の多い本であったため「これは僕
○：良好 ▲：実施しているが、表示不能 △：一部可能 ×：実装されていない or 良好ではない 4.2. Google/AutoML Tables 統計・機械学習に詳しくない方をターゲットにしていると感じました。 統計情報の表示画面・モデルの評価画面ともに説明が丁寧で、知識が少なくともある程度の結果を出せるように作られていると感じました。 一方、データの読み込みや処理などに癖が強いためこのサービスを含めたgoogle cloud platformへの知識は必要になりそうです 良い点 統計情報の表示画面が非常に優秀 ヘルプが充実しているため、モデルの評価が容易 悪い点 データ形式の制約が多い(行数1000行以上、分類ならクラスごとに20以上必要など) モデルの内部構造(採用した手法)が分からない 分析ページのサンプル画像 データの種類を自動判別してくれる他、欠損や固有値、各種統計情報を自動計
データサイエンティスト（及び他のデータ関連職）のスキル要件（2022年版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by mohamed_hassan from Pixabay) この記事は毎年恒例のスキル要件記事の2022年版です。昨年版は以下のリンクからご覧ください。 最初に正直に書いておくと、スキル要件自体は昨年版までとほぼ一緒で、大きなアップデートはありません。今回はまず最初に3職種の定義とスキル要件を並べた上で、それに解説を付すという形にしようと思います。 データサイエンティスト 定義 スキル要件 機械学習エンジニア 定義 スキル要件 データアーキテクト 定義 スキル要件 コメントなど 最後に データサイエンティスト 第一次ブームからそろそろ10年になりますが、この「データサイエンティスト」という語だけは変わらず生き残っているところを見るに、依然として期待も幻想も含めて注目され続けている職種といっても過言ではないでしょう。ただし、10年かけて多種多様な業界に浸透していったことで、
9名のKagglerの方にアンケートにご協力いただき、2020年に面白かったコンペと論文を教えていただきましたのでその結果を紹介します。 2020年も数多くのデータ解析コンペが開催され、興味深い論文が多く発表されました。 昨年公開した「Kaggle上位ランカーの5人に聞いた、2019年面白かったコンペ12選と論文7選」は現時点で20,000人を超える方にご覧いただき、Kaggleを始めとするデータ解析コンペへの関心が非常に高まっていると感じました。 そして本年も9名のKagglerの方にアンケートにご協力いただき、2020年に面白かったコンペと論文を教えていただきましたのでその結果を紹介します。 (1)回答いただいたKaggler9名のご紹介 まずは今回のアンケートに回答いただいたのは以下9名のKagglerの方です。 aryyyyyさま(@aryyyyy221) カレーちゃんさま(@cu
トラックやタクシーのドライブレコーダーによって記録される映像、加速／ブレーキの情報、GPS（全地球測位システム）による位置情報などを分析し、ドライバーに安全運転を指導する。「実証実験を終えて商用利用に至った案件もある」と、開発を担当したAI本部AIシステム部データサイエンス第二グループの松井健一グループマネジャーは語る。 このサービスのAI開発を主導したのが「Kaggler（カグラー）」と呼ばれるエンジニアたちだ。Kagglerは、AIの国際コンテストのプラットフォーム「Kaggle（カグル）」で腕を磨く人々を指す。常に10個前後のコンテストが開催されており、Kagglerは各コンテストで企業から提供されるデータを基に予測モデル（入力データを基に推論するプログラム）を構築し、予測精度を競う。 DeNAは「Kaggler枠」と呼ばれる採用枠を設けた上で、入社後も一定割合の時間をKaggler
はじめに データサイエンティストを志してみようと思っていろいろ調べたけど、ロードマップを調べても情報が多くてどれをやればいいかわからなくなったので頭の整理も兼ねて初めて記事を書いてみました。 多分知識がついたら増えるので加筆修正します。 初学者なので的外れな部分もあると思いますが、こんなのが足りないとか教えていただいたら加筆したいと思います。 筆者スペック ・MARCH文系卒 ・学部は経営学部 ・３０代前半 ・新卒で商社で７年、メーカーで３年営業 現在３社目 ・プログラミング歴０ データサイエンティストを目指すきっかけ ・会社に仕事をさせてもらう人生ではなく自分で仕事を選べるようになりたいという目標の為。 ・転職を繰り返した結果待遇は生活できるぐらいにはなったけど、 これからの人生とか考えた時に転勤とか含めどうしても会社に身柄を拘束された人生しか見えなかったこと。 ・結婚とか考えた時に収入
Kaggleの学習から投稿までをAWS, GitHub Actionsを使って自動化する - kanayamaのブログ
金山（@tkanayama_）です。先日終了したKaggleの"M5 Forecasting"というコンペに参加した際、クラウドやCI/CDの勉強も兼ねて、AWS, GitHub Actionsを使って遊んでみました。 免責 N番煎じだったらすみません。一応、同じことをやっているネット記事は見つかりませんでした。 私はクラウドなど勉強中の身分ですので、もっといいやり方がある or 説明が間違っている、などありましたら教えてください。 私がこのシステムを使って参加したコンペの順位は5,558チーム中1,000,000,000位だったので、Kaggleで勝てるかどうかは別問題のようです :pien: この記事のゴール 下記のようなシステムを構築することをゴールとします。 ユーザーがやることは2つ（図中でユーザーから伸びている黄色矢印）で、 実装したコードをgit pushし、 AWSコンソール
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラミング初心者がKaggle Expertになるまでの１０ヵ月間を振り返る - Qiita
遅くないpandasの書き方 - ML_BearのKaggleな日常
データサイエンティストに王道無し - 渋谷駅前で働くデータサイエンティストのブログ
フロントエンドエンジニアがAWSトップエンジニアになるまで - NRIネットコムBlog
最短で機械学習エキスパートになる9つのステップ【完全無料】 - Qiita
若者向けソフトウェア人材おすすめビルドN選 - Qiita
ヤフーのクリエイターが読んでいる技術・デザイン書（2019年4月〜2020年3月）
引っ越しすることになったので機械学習を使って全力で自分の住む家を決めようとした話 - Qiita
機械学習による株価予測 はじめようNumerai - Qiita
kaggle本で参考になった点のなぐり書き - ML_BearのKaggleな日常
ナイーブベイズを使って1日で100万件の投稿をジャンル分けした話 - AppBrew Tech Blog
AI News の公開と、裏側の OpenAI の活用話 - A Day in the Life
Courseraのオンライン修士2年目が終わった
「Kaggle Grandmaster」PFN秋葉氏は、スキ...
どこにも遊びに行けないなら"はてブ"のデータ分析をして遊べばいいじゃない - ゆとりずむ
AI搭載エディタCursorの紹介と機械学習コンペでの使用レビュー
Google ColabとVSCodeで作るデータ分析環境 クラウドのGPU環境でもローカルと遜色ない開発体験を
今年読んだNLP系論文で面白かった5つ - 株式会社ホクソエムのブログ
【書評】『Kaggleで勝つデータ分析の技術』（技術評論社） - u++の備忘録
AutoMLがすごいと聞いたので色々使って比べてみた - Qiita
Kaggleランカーの9人に聞いた、2020年面白かったコンペ9選と論文9選 | 宙畑
AI道場「Kaggle」の衝撃、DeNAが人材採用の特別枠を設けた訳
ど素人初学者データサイエンティストロードマップまとめのまとめ - Qiita