LLMを理解する一歩として「ゼロから作るDeep Learning」をやった - $shibayu36->blog;
LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察（2.1） - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。 理解できなかったことは悔しいし、LLMやChatGPTをうまく使いこなすには最低限どのような原理で動いているか理解したいと感じた。そこで一歩目として「ゼロから作るDeep Learning」を完走した。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅オライリージャパンAmazon 知識なしからはじめたので時間はかかったが、次のように進めていった。 自分もコードを写経しながら読む レポジトリは https://github.co
GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
東京工業大学、機械学習の講義ノートが無料公開 Pythonの実装も学べる | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も | Ledge.ai
TOP > Article Theme > AI（人工知能）ニュース > 東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も 東京大学 松尾研究室は1月29日から、無料でディープラーニング（深層学習）や自然言語処理について学べる、短期間のオンライン講座の受講者を募集している。対象は学生（大学院、大学、高専、専門学校生、高校、中学など）。募集は2月8日（月）の10時00分まで。選考結果は2月15日（月）までに受講決定者にメールで連絡する。 今回、募集しているオンライン講座は「スプリングセミナー2021：深層強化学習」「プリングセミナー2021：深層生成モデル」「プリングセミナー2021：Deep Learning for NLP講座」の3つ。なお、人工知能（AI）研究の第一人者で、東京大学 松尾研究室を率いる松尾豊氏は企画・監修だけではなく、
AI初心者向けの独学本「からあげ先生のとにかく楽しいAI自作教室」を執筆しました - karaage. [からあげ]
AI初心者向けの書籍を出します AI初心者向けの書籍「からあげ先生のとにかく楽しいAI自作教室」が2021/1/8に発売となります。既にAmazonページも作成されております。Kindleを中心とした電子書籍は、ネットでの反応に応える形で先行配信となり、すでに購入可能です。本記事末尾に追記しています。 人気ブロガーからあげ先生のとにかく楽しいAI自作教室 作者:からあげ発売日: 2021/01/08メディア: 単行本 商業誌への寄稿をしたり、共著で「Jetson Nano超入門」を執筆したことはありましたが、単書の本は初めてとなります。気合いを入れて書き上げました。なにとぞよろしくお願いいたします。 ちなみに、最初に断っておきますが。表紙とタイトルは出版社さんが決定しております。もちろん私も確認の上でGoを出していますが、自分から人気ブロガーを名乗っているわけではありませんので何卒ご理解を
![AI初心者向けの独学本「からあげ先生のとにかく楽しいAI自作教室」を執筆しました - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7a1e794a0e290a8ab6ae2b3e50cc1dab1ac7f2fe/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20201210%2F20201210234138.jpg)
メルアイコン変換器を作った話 - Qiita
はじめに 「メルアイコン」と呼ばれる、Melvilleさんの描くアイコンはその独特な作風から大勢から人気を集めています。 上はMelvilleさんのアイコンです。 この方へアイコンの作成を依頼し、それをtwitterアイコンとしている人がとても多いことで知られています。 代表的なメルアイコンの例 （左から順にゆかたゆさん、みなぎさん、しゅんしゅんさんのものです (2020/12/1現在)） 自分もこんな感じのメルアイコンが欲しい！！ということで機械学習でメルアイコン生成器を実装しました！！.......というのが前回の大まかなあらすじです。 今回は別の手法を使って、キャラの画像をメルアイコンに変換するモデルを実装しました。例えばこんな感じで変換できます。 実装したコードはこちら 本記事ではこれに用いた手法を紹介していきます。 GANとは 画像の変換にあたってはUGATITという手法を使って
Google Cloud、機械学習アプリ開発の苦痛を減らすノウハウを紹介
Google Cloudは2020年9月1日（米国時間）、機械学習モデルを利用したアプリケーション開発の苦痛を減らし、プロトタイプ開発を迅速に進める方法を公式ブログで紹介した。 概要は以下の通り。 トレーニング済みモデルを使用する 機械学習プロジェクトで最も時間がかかり、苦痛な部分の一つは、機械学習アルゴリズムに学習させるラベル付きデータを収集することだ。だが、多くの一般的なユースケースでは、機械学習モデルを一から構築する必要はなくなっている。誰かが構築、調整、メンテナンスした学習済みの機械学習モデルを利用できるためだ。Google Cloudが提供する「Cloud AI API」はその一例だ。Cloud AI APIを使えば、次のような作業に機械学習を適用できる。 音声および動画ファイルのテキスト変換 ドキュメント内のテキストの理解 構造化ドキュメント（フォームや請求書のような）の解析
機械学習で競馬の回収率100%超えを達成した話 - Qiita
はじめに みなさん競馬はお好きでしょうか？ 私は今年から始めた初心者なのですが、様々な情報をかき集めて予想して当てるのは本当に楽しいですね！ 最初は予想するだけで楽しかったのですが、『負けたくない』という欲が溢れ出てきてしましました。 そこで、なんか勝てる美味しい方法はないかな〜とネットサーフィンしていたところ、機械学習を用いた競馬予想というのが面白そうだったので、勉強がてら挑戦してみることにしました。 目標 競馬の還元率は70~80%程度らしいので、適当に買っていれば回収率もこのへんに収束しそうです。 なのでとりあえず、出走前に得られるデータを使って、回収率100パーセント以上を目指したいと思います！ 設定を決める 一概に競馬予測するといっても、単純に順位を予測するのか、はたまたオッズを考えて賭け方を最適化するのかなど色々とあると思います。また、買う馬券もいろいろな種類があります。 今回
Self-Attentionを全面的に使った新時代の画像認識モデルを解説！ - Qiita
08/31 (2020): 投稿 08/31 (2020): 「畳み込みを一切使わない」という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては「チャネル間の加重和である1x1畳み込み」を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。 言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします！(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransformerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ
WSL2にCUDA on WSLをインストールする (1/2)
前回は、WSL2からGPUが利用可能になったことを紹介したが（「Windows 10のWSL2からGPUが使えるようになった」）、今回はその続きとしてWSL2でGPUを使う設定を実際にしてみる。いくつか条件はあるものの、作業自体はそれほど難しくない。ただし、GPU利用といっても現時点では計算処理、特にNVIDIAのGPUを使った機械学習関係の処理が主な目的となるので、この分野に興味がないとせっかく設定しても使い道に困るかもしれない。 ここでは、NVIDIAのGPUを搭載したマシンに「CUDA on WSL」を、WSL2側にDockerなどをインストールして、NVIDIAが機械学習用に提供しているコンテナーを動かしている。いわゆるAI開発用の環境だが、これまで、Linuxをインストールしたマシンを用意するのが普通だった。しかし、CUDA on WSLを使えば、WindowsマシンのWSL2か
Web系企業での一人目の機械学習エンジニア・データサイエンティストに必要なスキルと経験して思ったこと - Qiita
０、はじめに マッチングアプリで機械学習エンジニアをやっているはやとと言います。今回は「Web系企業での一人目の機械学習エンジニア・データサイエンティストに必要なもの、やって感じたこと」について書いていこうと思います。 「Web系企業で機械学習エンジニアやってみたい！」「組織としてデータ分析や機械学習をやり始めたいけど何からやったらいいかわからない！」という方も多くいるでしょう。 Web系企業での機械学習エンジニア・データサイエンティストの動きはメルカリのブログとか本でよく見ます。しかし、まだ規模があまり大きくない会社における機械学習エンジニア・データサイエンティストの記事や本は一切見当たらず、また、立ち上げ（そんな大げさな言葉を使っていいのか分かりませんがw）の話が書いてあるものは見たことがないです。そのため、もしかしたら日本で初めての記事になるのではないかなと考えてワクワクしながら書い
機械学習の勉強を始めて1年以内にkaggleで2位になったので、やったこと全部書く - kaggle日記
皆さん初めまして！ 先日kaggleのARCコンペで2位になったのですが、 2位で終了しました！みなさんお疲れさまでした。コード書くの楽しかった。 pic.twitter.com/dLxl6Mlgoe — Aryyyyy (@aryyyyy13) 2020年5月28日 僕のkaggle歴が浅めということもありtwitterでも結構反響があって、何人かの方にはわざわざDMまで頂いてどんな勉強をしたか聞いていただきました。なるほど需要があるならということで、今までのことをまるっと振り返ってみようと思います。 これからkaggle始める方のためになれば幸いです。 機械学習を始める前のスペック 準備期間：2019年7月〜 kaggle初参加：2019年9月〜 kaggleちゃんと始める：2019年10月〜 DSB参加：2019年10月〜 会社を休職して本格的に勉強開始：2020年1月前半〜 手頃な
普通のエンジニアが初めて動かすディープラーニング
＠IT eBookシリーズ Vol.64『普通のエンジニアが初めて動かすディープラーニング』（画像クリックでeBookを表示） AI・機械学習・ディープラーニングはもはや、あなたのような「普通のエンジニア」にとっても「使えない」では済まされないトピックだ。しかし「どこから手を付ければよいのかが分からない」「書籍を読んだけど数式がたくさん出てきて、途中で読むのをやめてしまった」「書籍は何とか1冊読み切ったけど、やっぱり仕組みと挙動への理解が不十分で実践しづらい」という人は少なくないのではないだろうか？ 本書は、『普通のエンジニアでも分かるディープラーニング概説：人気連載まとめ読み！ ＠IT eBook（58）』の続編として、ディープラーニングの仕組みと実装方法を初心者向けに解説している。図解（「ニューラルネットワーク Playground - Deep Insider」という無料で動かせるW
機械学習システムの設計パターンを公開します。
メルカリで写真検索とEdge AIチームに所属している澁井（しぶい）です。機械学習のモデルを本番サービスに組み込むための設計やワークフローをパターンにして公開しました。 GithubでOSSとして公開しているので、興味ある方はぜひご笑覧ください！ PRやIssueも受け付けています。私の作ったパターン以外にも、有用なパターンやアンチパターンがあれば共有してみてください！ GitHub：https://github.com/mercari/ml-system-design-pattern GitHub Pages：https://mercari.github.io/ml-system-design-pattern/README_ja.html なぜ機械学習システムのデザインパターンが必要なのか 機械学習モデルが価値を発揮するためには本番サービスや社内システムで利用される必要があります。そのた
「AIをどう習得したのか教えて」と大募集し、技術者から集まった記事49本を紹介
出典：日経クロステック、2020年2月7日 （記事は執筆時の情報に基づいており、現在では異なる場合があります） 日経 xTECH内に人工知能（AI）専門チャネル「ビジネスAI」を2019年10月に立ち上げたのを機に、知識共有サイト「Qiita」上でAI／機械学習の記事を同年12月に募集したところ、49本もの記事が集まった。投稿いただいた皆さん、ありがとうございました。 今回、ビジネスAIの編集担当として私が設定した「お題」は以下の3つ。各テーマについて日経 xTECHがQiitaアドベントカレンダーのスポンサーとなり、2019年12月1日～25日まで1日1本ずつ記事を募集した。 AI道場「Kaggle」への道 機械学習をどう学んだか 機械学習ツールを掘り下げる この結果、機械学習を独習するお薦めの書籍やサービス、Kaggleなどの機械学習コンペに入門する方法など、AIや機械学習に興味がある
機械学習による株価予測 いろはの”ろ” - Qiita
はじめに 前回記事「機械学習による株価予測 いろはの"い"」の公開後、筆者の機械学習モデルの獲得利益はめでたく1億を突破することができた。運用モデルの概要については筆者のブログにて紹介したが、折角の機会なので技術的な内容についてここに続編を執筆する。今回の記事では、株価を予測するための特徴量についてその考え方をまとめる。 特徴量の種類 個別銘柄を説明するための代表的なデータとは、財務諸表とチャート（価格系列）である。一昔前は個人投資家がこれらのデータを揃えるのにかなりの苦労が必要だった（特に財務諸表が面倒であった）が、最近ではQiitaでXBRL用のライブラリが紹介されていたり、バフェットコードでAPI（有料）が提供されていたりと、随分と手間要らずになってきたように思う。 個別銘柄を説明するための材料についてさらに進んだ話をすると、IRを自然言語処理に掛けてセンチメントを抽出したり、経営陣
機械学習をゼロから学ぶための勉強法 - Qiita
はじめに データサイエンスや機械学習っておもしろそう！と思いつつも、どうやって勉強をしたら良いかわからない......と感じた経験はありませんか？ ちなみに自分もその一人です。 この記事では、機械学習ってそもそも何？ AIという言葉は知ってるけど詳しいことはわからないというような初学者でも、知識・経験を積んで機械学習に取り組めるようにするために必要な基礎の基礎から学ぶための勉強法を自分の経験をもとに紹介します！(ここで紹介するものは機械学習の中級者以上の方でも基礎知識の復習として活用できるものかなとも思っています） この記事の続編(データサイエンスはじめて1か月以内で参加したコンペで銀メダル(上位3%)とるまで！)はこちら 概要 (基本的にはこの3stepです) 基礎知識をつける(単語・用語の理解) ライブラリの使い方を理解 実際にコンペに挑戦(Kaggle) 1.機械学習&ディープラーニ
最短で機械学習エキスパートになる9つのステップ【完全無料】 - Qiita
はじめに Step 1, 2, 7に関しては、時間がなければやらなくてもいいと思います。 1. 統計を学ぶ 統計検定2級の取得 2. MLの原理を知る Machine Learning -coursera 勾配降下法の最適化アルゴリズムの概要 3. Pythonを学ぶ Python -Google 4. MLの基礎を学ぶ Machine Learning Crash Course MLでのデータの準備 フルスクラッチで勾配降下法を実装する フルスクラッチでkNNを実装する KMeansアルゴリズムとSVMを操作する方法 kNN, SVM, XGBoostの視覚化 勾配ブースティングとXGBoost Kaggle Masterが教えるXGBoost 決定木のスキルをブラッシュアップする 他に触れておきたいところとして、 LightGBM Gradient Boosting などがあります。(
日本ディープラーニング協会、機械学習やPythonを学べる講座を無料公開 外出控える人に「学ぶきっかけを」
日本ディープラーニング協会（JDLA）は3月13日、AIの仕組みやプログラミング言語「Python」の基礎などを学べる講座を、公式サイトで無料公開した。新型コロナウイルスの感染拡大に伴って外出を控えている社会人と学生に、ディープラーニングを学ぶきっかけを提供したいという。無料期間は講座ごとに異なる。 ディープラーニングの基礎知識や、ビジネスでのAI活用、Pythonを使った機械学習などを学べる8種の学習コンテンツを無料で提供。JDLAはディープラーニングを活用できる人材の育成に向けた検定・資格試験を実施しており、今回の施策では「G検定」（ジェネラリスト検定）と「E資格」（エンジニア資格）の試験対策講座なども対象になる。E資格の取得に必要な講座も一部含まれるが、その講座を受講しただけでは受験資格は与えられないという。 関連記事 さくら、Pythonの基礎講座を無償提供 新型コロナで外出控える
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
