エンジニア・データ分析職の方々にお薦めしたい、LLM時代に不可欠な教養が身に付くテキスト3選 - 渋谷駅前で働くデータサイエンティストのブログ
（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊
最適輸送と自然言語処理
2022-03-14, 言語処理学会 第28回年次大会でのチュートリアル「最適輸送と自然言語処理」のスライドです。当日利用版から増補改訂しました。 講演動画 (YouTube)
『標準ベイズ統計学』はベイズ統計学をきちんと基礎から日本語で学びたいという人にとって必携の一冊 - 渋谷駅前で働くデータサイエンティストのブログ
標準 ベイズ統計学 朝倉書店Amazon 発刊当時に話題になっていた『標準ベイズ統計学』。実は訳者のお一人、菅澤翔之助さんからオフィス宛てでご恵贈いただいていたのですが、親父の没後処理やら自分のDVTやら実家の片付けやらで全く手が回らずオフィスに置いたままにしてしまっていたのでした。で、この度改めて拝読してみたら「何故もっと早く読まなかったんだ」と後悔するくらいあまりにも内容が素晴らしかったので、遅まきながら書評記事を書こうと思い立った次第です。 ベイズ統計学というと、殆ど詳しくない人だと「ベイズの定理以外に何があるの？」という印象ぐらいしかないかもしれませんし、一方でとりあえず技法としてやり方だけ覚えてしまった人だと「とりあえずMCMC回せばいいんだよね？」みたいな雑な理解になってしまうかもしれません。いずれにせよこれまで邦書ではベイズ統計学というと超初歩か実装重視かの二択が多かったせい
機械学習のパラメータチューニングを「これでもか！」というくらい丁寧に解説 - Qiita
はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh
自然なブログを書いてしまうほど超高精度な言語モデル「GPT-3」はどのように言葉を紡いでいるのか？
OpenAIが開発する「GPT-3」は、ほとんど違和感のないブログ記事を生成できてしまうほど高い精度を誇る言語モデルです。そのGPT-3がテキストを生成する仕組みについて、オンライン学習プラットフォーム「Udacity」でAIや機械学習関連の講座を持つJay Alammar氏が解説しています。 How GPT3 Works - Visualizations and Animations – Jay Alammar – Visualizing machine learning one concept at a time. https://jalammar.github.io/how-gpt3-works-visualizations-animations/ The Illustrated GPT-2 (Visualizing Transformer Language Models) – Ja
文系大学生が機械学習を０から始めて９か月でKaggle銀メダルを獲得するまで - Qiita
今回自分は０から始めて９か月でコンペで銀メダル(6385分の249位,top4パーセント)を獲得できました。 自分の今までの流れをおさらいしていきます。 それまでの僕のスペック 数3と行列はほぼ何も分からない プログラムはrubyとjavaはそこそこに書ける、pythonは知らん 勉強の流れ １２月末 機械学習を始めると決心、とりあえず何をやればいいかよく分からないがpythonが必要らしいのでprogateでpythonをやってみる １月 数学が必要らしいので、行列と微分積分について１から学んでみる。今から考えると、行列の基礎をさらえたのは良かったですが、それ以外はこの時間は絶対いらなかったなと考えています。 微分積分 行列 ２月 Udemyで多くの講座を受ける、詳細は以下の記事にまとまっています https://qiita.com/HayatoYamaguchi/items/c8051
ディープラーニング初心者向けの日本語学習サイト、PFNが無償公開
Chainer チュートリアルでは、ブラウザ上でPythonのコードを実行できるGoogleのオープンソースのWebアプリケーション「Google Colaboratory」を用いる。Jupyter Notebook上で教材に登場するコードをそのまま実行し、結果を確認できるため、新たに環境を構築する必要がない。 今後は画像認識、自然言語処理、深層強化学習、デプロイといった機械学習を応用する方法も網羅する予定だ。 関連記事 「AIプロジェクトを担当してくれ」突然の上司のむちゃぶり あなたが最初にやるべきことは？ 「ウチの会社でもAIを使おう」――急に上司からこんなむちゃぶりが飛んできたら、どうすればいい？ AI初心者のビジネスパーソン向けに企業のAI導入について分かりやすく解説する新連載がスタート。 元フィギュアスケート選手とディープラーニングの華麗な出会い 「選手の役に立ちたい」社会人大学
データサイエンスや機械学習のチートシートを最も効率的に収集する方法 - Qiita
機械学習・データサイエンスのチートシート集、便利なものがたくさん出回っていますが、ちまちまブラウザからダウンロードしていたりしませんか？そんな貴方にお勧めなのがこちらのレポジトリ。 FavioVazquez/ds-cheatsheets https://github.com/FavioVazquez/ds-cheatsheets はい、クリックあるいはコマンド一つで100を超えるチートシートが一括でダウンロードできちゃいますね。以上、釣りタイトル失礼しました。 と、これだけではなんなので、個人的に有用性が高いと感じたものを、大きなサムネイル付きでまとめてみました。ソースとして、DataCamp及びRStudio公式ページの情報量は圧倒的なので、一読をお勧めします。 科学計算・データ操作・可視化 Python (NumPy/SciPy/Pandas/matplotlib/bokeh) Pyt
2019年版：データサイエンティスト・機械学習エンジニアのスキル要件、そして期待されるバックグラウンドについて - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は、以前の同様のスキル要件記事のアップデートです。 正直言って内容的には大差ないと思いますが、今回は2つ新たな軸を加えることにしました。一つは「ジュニアレベル（駆け出し）」と「シニアレベル（熟練職人）」とで分けるということ、もう一つは「データ分析以外の業界知識（ドメイン知識）」にも重きを置く、ということです。 というのも、空前の人工知能ブームが予想よりも長く続いていることで、人材マーケットを観察する限りではデータサイエンティスト・機械学習エンジニアとも求人数が高止まりしているように見えるのですが、その結果としてこのブログの過去のスキル要件記事で挙げたような「完成されたデータ分析人材（熟練職人）」に限らず「駆け出し」でも良いからデータ分析人材が欲しいという企業が増えているように感じられるからです。 その一方で、かつては主にwebマーケティング業界
KaggleのCTOが教えてくれた"AIエンジニアに超オススメな8つの学習ステップ" | AI専門ニュースメディア AINOW
こんにちは！Team AIでは渋谷の拠点で機械学習の研究会を行なっていますが、中でも目玉なのが、データ分析のコンペサイトKaggle.comを使ったデータ分析ハッカソンです。 現状、産業別にテーマを分けて、FinTech、医療、HR、マーケティング、自然言語の各分野のハッカソンを定期的に行なっています。 データをこねくり回してみて、Kernel(他のユーザーのケーススタディ)を写経して理解して、腹落ちしない点を教科書から探して読んで理解する、逆向きの学習がいいと思っています。(諸説あると思いますが) 今日は、初学者のアプローチとして、Kaggle CTOがQuoraというQ&Aサイトでユーザーからの質問に答えており、内容が素晴らしかったので、概要を紹介します。 詳細は下記サイトでご覧くださいね。 https://www.quora.com/What-are-the-best-sources
クラウドではじめる機械学習：Google Cloud Machine Learningを使ってみよう
こんにちは、GMOアドマーケティングのMHです。 実際に機械学習をプロダクトに取り込む場合には大量のデータをどうやって扱うのか、大規模な学習を行うために必要なリソースは、、など考えることが色々と出てきます。 そのため、オンプレミスで大規模な機械学習環境を構築するのは中々ハードルが高いですが、Google Cloud Machine LearningやAmazon Machine Learning、Azure Machine Learning などをクラウド環境を利用することで手軽にスケール可能な機械学習環境を構築することが可能です。 今回は、Google Cloud Machine Learningを使ってクラウド上で機械学習を行ってみたいと思います。 Google Cloud Machine Learningとは データ量に関係なくあらゆるデータの機械学習モデルを簡単に構築できるマネージ
RNN：時系列データを扱うRecurrent Neural Networksとは
Recurrent Neural Networksとは何か RNNの応用事例 機械翻訳 音声認識 画像の概要生成 説明文からの画像生成 知っておくと便利なRNNの種類と進化 Simple RNN LSTM GRU Bi-directional RNN Attention RNN Quasi-Recurrent Neural Network TensorFlowによるRNNの実装 まとめ 参考文献 人間は、目の前で起きた出来事から、次に起こりそうな出来事を予測しながら文脈を読んで判断を下すことができます。例えば、車を運転している際に歩行者が飛び出しそうだと思えば、十分な間隔を置いて走行することが出来るでしょう。 また、現実世界は時間の制約を受ける事象はたくさんあります。アニメーションなどのストーリーでは、前回の文脈を前提として次の展開が進んでいきます。 Recurrent Neural Ne
深層学習を用いた時系列データにおける異常検知 - 株式会社カブク
はじめに カブクで機械学習エンジニアをしている大串正矢です。今回は深層学習を用いた時系列データにおける異常検知について書きます。 背景 深層学習を異常検知に使用するにあたって閾値設定や評価尺度であるROCについての記述が日本語のウェブの資料で見つけられなかったので本ブログで記述することにしました。以前のブログに異常検知の基礎的な内容があるのでその内容を踏まえた上で読んで頂けると理解がしやすいと思います。 異常検知の基礎 時系列データにおける異常検知 情報圧縮に関するモデル(AutoEncoderなど) 利点: RNNなどに比べ少ないパラメータで学習可能なため高速 欠点: 系列データ特有の過去の値を考慮した予測ができない 系列データに関するモデル(RNNなど) 利点: 系列データ特有の過去の値を考慮した予測が可能 欠点: 構造上、GPU上での並列化が難しいため学習に時間がかかる 本記事では系
機械学習システムの信頼性エンジニアリング - LIVESENSE Data Analytics Blog
こんにちは、データプラットフォームグループの田中 (@yubessy) です。機械学習基盤のプロダクトマネージャをしています。 いきなりの質問で恐縮ですが、機械学習(ML)システムの開発プロジェクトでこんな経験をされた方はいらっしゃいますか？ MLエンジニア: Webエンジニアに「コードの品質が低くシステムを本番運用できない」と言われた Webエンジニア: MLエンジニアに「開発と本番でデータが違って精度検証ができない」と言われた どちらかに心当たりがあるなら、同じチームにもう一方に当てはまる人がいるかもしれません。 MLシステム開発には様々な経験をもつメンバーが関わるため、システムの信頼性について重視する観点が分かれることは珍しくありません。 システム開発において信頼性は重要な要素です。 特にMLシステムには高い不確実性がつきまとうため、通常にくらべて信頼性の実現がより困難になります。
機械学習におけるカーネル法について - めもめも
何の話かというと 機械学習におけるカーネル法の説明で、よく登場するのがこちらの図です。 左側の (x, y) 平面上の点を分類する場合、このままだと線形分類器（直線で分類するアルゴリズム）ではうまく分類できないのが、右図のように z 軸を追加してデータを変形すると、平面できれいに分割できるようになって、線形分類器による分類がうまくいくというものです。このように、高次元空間にデータを埋め込むことでうまいこと分類するのがカーネル法の仕組みだというわけです。 なのですが・・・・・・・・・・・・・・・・・・・・ これ、本当にカーネル法の原理を知っている方には、ちょっと気持ち悪くないですか？ ※ 以下はカーネル法を知っている方向けのつぶやきです。 上記の例は、データの配置にあわせて、うまいこと z 軸方向の変形をしているのでうまくいっているのですが、カーネル法には、データの配置にあわせてうまいこと変
MicrosoftとAWS、ディープラーニングの「Gluon」をオープンソース公開
MicrosoftとAmazon.com傘下のAWSが協力し、ディープラーニングのライブラリ／インタフェースの「Gluon」をGitHubで公開した。AI初心者でも用意されているニューラルネットワークのコンポーネントを使って機械学習モデルを構築できるとしている。 米Microsoftと米Amazon.com傘下のAWS（Amazon Web Services）は10月12日（現地時間）、ディープラーニングのライブラリおよびインタフェースの「Gluon」（グルーオン：クォーク同士を結合する働きがあるとされる基本粒子という意味）をGitHubで公開したと発表した。ライセンスはApache License 2.0。 Gluonは、様々なニューラルネットワークのコンポーネントの集まりを使って機械学習モデルを作成するための分かりやすいAPIを提供する。コンポーネントを他のデータ構造と同様に扱えるため
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
無料で読める「機械学習／ディープラーニング」の有名書籍！ 厳選4冊
「説明できること」の先にある科学の未来：伊藤穰一
【やじうまPC Watch】 Adobe、深層学習で修整済み写真を検出する技術
【後藤弘茂のWeekly海外ニュース】 Armが機械学習専用プロセッサ「Arm ML」を投入へ
