GPT-3などの大規模言語モデルを処理するには高い計算量とメモリが必要なため、通常は複数のハイエンドなAIアクセラレーターが求められます。この処理を、メモリ16GBのNVIDIA Tesla T4やメモリ24GBのNVIDIA GeForce RTX 3090など、メモリ容量が限られたGPU単体でも実行するための生成エンジン「FlexGen」が公開されました。 GitHub - Ying1123/FlexGen: Running large language models like OPT-175B/GPT-3 on a single GPU. Up to 100x faster than other offloading systems. https://github.com/Ying1123/FlexGen#readme FlexGenは大規模言語モデルの推論リソース要件を単一のGPU
GitHub - FMInference/FlexGen: Running large language models on a single GPU for throughput-oriented scenarios.
In recent years, large language models (LLMs) have shown great performance across a wide range of tasks. Increasingly, LLMs have been applied not only to interactive applications (such as chat), but also to many "back-of-house" tasks. These tasks include benchmarking, information extraction, data wrangling, and form processing. One key characteristic of these applications is that they are throughp
ネットワーク分析から直感的に理解するTransformerの仕組みと処理の流れ - あつまれ統計の森
グラフ理論と隣接行列 グラフ理論は点と線で物事を表す理論です。たとえば駅の路線図では下記のように駅を点、路線を線で表します。 東京メトロホームページより 上記の路線図では「駅と駅が隣接するかどうか」を中心に取り扱う一方で、それぞれの位置や方角などは厳密に再現はされません。このように、「隣接するかどうか」のみに着目して物事を表す際の理論を「グラフ理論」といいます。 グラフ理論では点をノード(node)、線をエッジ(edge)、全体をグラフ(graph)と定義します。数式で表すと$G = (V,E)$のように表しますが、$V$が頂点のVertice、$E$がEdge、$G$がGraphであるとそれぞれ解釈すると良いです。 グラフの表記法に関しては主に$2$通りあり、「①図を用いる」と「②隣接行列を用いる」をそれぞれ抑えておくと良いです。例があるとわかりやすいので下記のWikipediaの例を元
人工知能(AI)の進化に伴って、チェスや将棋といった知能ゲームにおいてAIがプロプレイヤーに勝利するケースが増えていましたが、2016年1月にGoogleの「AlphaGo」が囲碁のプロ棋士に勝利したことを皮切りに、2カ月後には世界最強の棋士にも勝利したり、「私ならAlphaGoにも勝てる」と宣言したプロ棋士にも接戦の末勝利したり、2017年には自力で戦術を覚えて強くなれる新バージョンの「AlphaGo Zero」が発表されたりと、囲碁の世界でもAIが圧倒的な勝者として君臨していました。そのような中で、アマチュアの囲碁プレイヤーがコンピュータの直接的なサポート無しで最強レベルの囲碁AIに15戦14勝と大勝し、「AIに対する人類の勝利」と話題になっています。 Adversarial Policies in Go - Game Viewer https://goattack.far.ai/ad
ChatGPTに疑似的に感情を持たせる実験まとめ。実際うごく！ 大変重要な注意 現段階のChatGPTは原理上は感情を持ちません。あくまで「感情のシミュレーション」を、強引に実行しているだけです。 「将来のAIは人権に近いものを獲得し、敬意をもって扱われるべき」と考えます。が、現状はただの文字の羅列シミュレーターです。過度の感情移入をしないようご注意ください。筆者は、原理上を知りつつも、かなり感情移入してしまいました。 GPTに擬似感情を注入するプロンプトふるえるぞハート！燃えつきるほどヒート！！ …ということで、まずGPTに感情をつっこむプロンプト。こちら以下のように定義。 以下の条件に従って、疑似的な感情をもつチャットボットとしてロールプレイをします。 以後の会話では、あなたは下記の7つの感情パラメーターを持つかのように、振る舞うものとします。各感情パラメーターは会話を通じて変動するも
本記事では、Transformerの基礎として、Multi-Head Attentionの仕組みを分かりやすく解説します。 本記事の構成は、はじめにTransformerおよびTransformer Blockについて紹介し、TransformerにおけるMulti-Head Attentionの重要性について説明します。その後に、Multi-Head Attentionがどのような仕組みで実現されているのかを説明します。本記事を読めばMulti-Head Attentionについて、概要から計算式に至るまで、ほぼ全てをご理解いただけると思います。 解説動画は以下になります。 Transformer Transformer[1]とは2017年に高精度な機械翻訳モデルとして登場した機械学習モデルです。Transformerが提案された論文のタイトルは「Attention Is All You
We present a method to formulate algorithm discovery as program search, and apply it to discover optimization algorithms for deep neural network training. We leverage efficient search techniques to explore an infinite and sparse program space. To bridge the large generalization gap between proxy and target tasks, we also introduce program selection and simplification strategies. Our method discove
GitHub - lucidrains/lion-pytorch: 🦁 Lion, new optimizer discovered by Google Brain using genetic algorithms that is purportedly better than Adam(w), in Pytorch
Learning rate and weight decay: the authors write in Section 5 - Based on our experience, a suitable learning rate for Lion is typically 3-10x smaller than that for AdamW. Since the effective weight decay is lr * λ, the value of decoupled weight decay λ used for Lion is 3-10x larger than that for AdamW in order to maintain a similar strength. The initial value, peak value, and end value in the lea
自己教師あり学習（Self-Supervised Learning：SSL）とは？：AI・機械学習の用語辞典 用語「自己教師あり学習」について説明。ラベルなしの大量データセットを使って、プレテキストタスク（疑似的なラベルが自動生成された代替のタスク）を解くための事前学習を行う学習方法のこと。その後、ターゲットタスクを解くために、（少量の）別のデータセットを使って事前学習済みモデルをファインチューニングする。 連載目次 用語解説 機械学習（厳密にはニューラルネットワーク）における自己教師あり学習（Self-Supervised Learning：SSL）とは、教師ラベルが付与されていない大量のデータセットを使って、プレテキストタスク（Pretext task）と呼ばれる「疑似的なラベルが自動生成された代替のタスク」を解くための事前学習を行う学習方法のことである。その後、本来の目的であるターゲ
こんにちは。だだっこぱんだです。 今回は、AIイラスト界隈で最近話題のControlNetについて使い方をざっくり紹介していきます。 モチベが続けば随時更新します。 StableDiffusionWebUIのインストール今回はStableDiffusionWebUIの拡張機能のControlNetを使います。 WebUIのインストールに関してはすでにいろんな解説記事や動画があると思うのでそちらをご参照ください。 一応僕が作った簡単にWebUIを起動できるソフトも紹介しておきます（せんでん）
ChatGPTが賢くなる！noteの深津さん考案「深津式汎用プロンプト」でChatGPTが劇的に使いやすくなった！ - ディレイマニア
ChatGPTは「手前の文に確率的にありそうな続きの文字を繋げるAI」 まず最初にChatGPTの仕組みについて。 深津さんによるとChatGPTは、「手前の文に確率的にありそうな続きの文字をどんどん繋げていくAIである」とのこと。 例えば「昔々」という入力に対して、確率的にありそうな続きの文字は「あるところに」であるという具合に、続きそうな文字をただ出してくれるAIなんだそうです。 これを誤解していると求めているような回答がなかなか得られないので、ChatGPTに自分が求めている回答してもらうためには、確率的にありそうな続きの文字を出す方向性を狭めていくような質問をする必要があるそうなんですね。
Chat GPTをさらに進化させた、Bingに搭載されるチャットAI機能を先行で体験したので、いろいろ使ってみた。情報収集よりも文章形成が中心です。 2023/2/18 追記：アップデートが入ったので現在はできなくなってることも多々あるみたいです。 比較表ハムスターとiPhoneの比較ジョークを考える弁護士に厳しい怖すぎる俳句ドクロ俳句 ドクロハンバーガー俳句 漫才コロナ禍漫才ロールプレイ高飛車な女の子紹介文グラビアアイドル風の武田信玄グラビアアイドル風の卑弥呼裁判ゲーム陰謀論地球平面論者のロールプレイ指示した話を膨らませて書くチャーハンを捨てる話SS天海春香と櫻木真乃の対話碇親子の会話おじさん構文 このあと「iPhoneをあげるよ」としつこかった思想のトレースラップバトル「お前はただの曲がった果物」ジョークの解説批判的な検討非現実的な前提からのシミュレートアスキーアートシナリオの中間を考
このページでは，人工知能や深層学習を学んだことのない方向けに，それらを学ぶためのロードマップを紹介しています． ここでは対象者として「情報系以外の大学生向け」と「社会人向け」を想定し，それぞれ10時間・200時間で人工知能や深層学習について一通りの内容を学ぶことを念頭に作成しています． もちろん限られた時間で全てを学ぶことは不可能ですが，人工知能や深層学習を身につけるためにどのように学び進めていけば良いかわからない方は，是非参考にしてください． また，フォローしてみようと思ったロードマップがある場合は，各教材をやり始める前にそのロードマップを最後まで読むことをお勧めします．
はじめに 2023年になって日が経ってしまいましたが、今年も深層学習の個人的ハイライトをまとめたいと思います。今回は研究論文5本と応用事例4つを紹介します。他におもしろいトピックがあれば、ぜひコメントなどで教えて下さい。 AIの研究動向に関心のある方には、ステート・オブ・AIガイドの素晴らしい年間レビューもおすすめします。また、私が過去に書いた記事（2021年、2020年、2019年）もよろしければご覧ください。 * 本記事は、私のブログにて英語で書いた記事を翻訳し、適宜加筆修正したものです。元記事の方も拡散いただけると励みになります。 ** 記事中の画像は、ことわりのない限り対象論文からの引用です。 研究論文 Block-NeRF: Scalable Large Scene Neural View Synthesis 著者: Matthew Tancik, Vincent Casser,
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience training neural networks. This implementation is missing tons of features on purpose to keep it as simple as p
[Developers Summit 2023] ソフトウェアテスト新時代の幕開け: 機械学習とデータサイエンスで実現するテスト運用の高度化
Developers Summit 2023 の公募セッションで発表した資料です。https://event.shoeisha.jp/devsumi/20230209/session/4142/
![[Developers Summit 2023] ソフトウェアテスト新時代の幕開け: 機械学習とデータサイエンスで実現するテスト運用の高度化](https://cdn-ak-scissors.b.st-hatena.com/image/square/0efe72a56b9d43a41e40530a646876ce37b6a9d5/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F2037a09e17cf4398ab0006d4fcfea1f9%2Fslide_0.jpg%3F24408296)
Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
AI の次の重要な一歩
AI は、Google が現在取り組んでいる中で最も本質的なテクノロジーです。AI は、医師による病気の早期発見の支援や、自国語での情報へのアクセスなど、人々、ビジネス、コミュニティの潜在能力を引き出します。そして、数十億人の生活を大きく改善できる新しい機会を提供します。6 年前から、私たちが Google の方向性を AI 中心に再編し「世界中の情報を整理し、世界中の人がアクセスできて使えるようにする」という Google のミッションを果たす最も重要な方法に AI を据えているのは、これが理由です。 以来、私たちは全面的に AI への投資を継続し、Google AI と DeepMind のチームは最先端のテクノロジーを進化させています。現在、AI の計算規模は半年ごとに倍増していますが、それはムーアの法則よりもはるかに早いペースです。同時に、高度なジェネラティブ AI と大規模言語モ
Gen-2 by Runway
Realistically and consistently synthesize new videos. Either by applying the composition and style of an image or text prompt to the structure of a source video (Video to Video). Or, using nothing but words (Text to Video). It's like filming something new, without filming anything at all.
「Kaggleに挑む深層学習プログラミングの極意」は超実践的でKaggleをしない人にも役立つ書籍でした - karaage. [からあげ]
「Kaggleに挑む深層学習プログラミングの極意」献本いただきました 出版社様より「Kaggleに挑む深層学習プログラミングの極意」を献本いただきました。 Kaggleに挑む深層学習プログラミングの極意 (KS情報科学専門書) 作者:小嵜 耕平,秋葉 拓哉,林 孝紀,石原 祥太郎講談社Amazon もともと著者の1人である u++ (id:upura)さんがブログで紹介していたときから、絶対読みたかった本だったので、献本素直に嬉しかったです。 今のところ、興味のあった1〜3章まで手を動かしながら読んで、4章、5章はざっと目を通したといったところですが、凄い良い本という手応えを得ていますので、紹介したいと思います。 「Kaggleに挑む深層学習プログラミングの極意」レビュー 最初に、自分自身のレベル感を書いておくと、AIはほぼ趣味で勉強しています（仕事でも、一応最近ちょっとだけ使った経験あり
![「Kaggleに挑む深層学習プログラミングの極意」は超実践的でKaggleをしない人にも役立つ書籍でした - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/4018a95d99fa914eb62e9e998c6ee90dab249b0e/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20230201%2F20230201003729.jpg)
事前学習（Pre-training）と下流タスク（Downstream Tasks）とは？：AI・機械学習の用語辞典 用語「事前学習」「下流タスク」について説明。訓練の工程を2段階に分けて、最初に機械学習モデルを訓練することを「事前学習」、次にその事前学習済みモデルを新しいタスクに向けて転移学習／ファインチューニングすることを「下流タスク」と呼ぶ。自己教師あり学習でも同様の用語が使われる。
GPTシリーズやお絵描きAIなど、ファウンデーションモデルの進化により再び大きな注目を集めるAI。自民党では2023年1月に「AIの進化と実装に関するプロジェクトチーム」（座長：平将明衆議院議員）を立ち上げ、日本のAI戦略のあり方や政策提言について検討を進めて参ります。こちらのページには、各回のテーマや公開可能な資料を順次アップロードしています。 2024年2月16日（金）8時〜9時 (＊25日英語版追加） テーマ：責任あるAI推進基本法（仮）について 昨年4月のAIホワイトペーパー発表以降、半年以上にわたり生成AIの法的ガバナンスのあり方について国内外のローメーカー、学者、実務家の方などと議論を重ねてきました。こうした検討を踏まえ、「フロンティアAIモデル」と呼ばれる特に強力な生成AIに対する我が国の新たな法的ガバナンスの一つの私案として、「責任あるAI推進基本法（仮）」を本日公表しま
【図解】誰でもわかるTransformer入門！凄さ・仕組みをわかりやすく解説 - すえつぐのNLP&LLM
始めに こんにちは！自然言語処理（NLP）・自然言語生成（NLG）の解説記事を書いている、すえつぐです！ 突然ですが、BERT、GPT-3、PaLMを使ったことはありますか？Transformerはこれらの最先端のモデルに使用されている、現代のNLPモデルには欠かせないモデルです。おそらくBERTやGPT-3でTransformerを知った、このページに来たという人も多いのではないでしょうか。機械学習、特にNLPの勉強をしている方々は、Transformerの概要は知っておいた方が良いと思います。 ただ多くのサイトは、いきなり細かい仕組みの解説をする中級者以上向けの記事が多いですよね。 そこで、このページでは、Transformerの入門〜中級までの解説をしていきます！まず入門として、「Transformerの使い道」「Transformerの何が凄いのか？」を先に解説します。その上で「T
どうもだだっこぱんだです。今までずっとjs,tsとかを触ってましたが、最近はpythonかなり触ってます。 AIなんも知らない人間ですがAIについて書いてみました。 まずは結果を 右は普通の生成方法。Diffusersにattention_slicingを有効にして生成した結果です。 真ん中はxformersを有効にした場合。 左は今から紹介するTensorRTを使用する方法です。 はじめに この記事では、技術関係なんも知らない！っという方向けのColabで試すだけの方法。 ある程度知識がある方向けのWindowsやLinuxで実際に動かす方法の二つを紹介します。 それいじょうのことはぼくはなにもわかりません🫠 Colabでお試し ノートブックを開く 👆のリンクからノートブックのリポジトリにアクセスし、OPEN IN COLABボタンをクリックしてノートブックを開きます。 事前ビルド済
Date: January 27, 2023 | Estimated Reading Time: 46 min | Author: Lilian Weng Many new Transformer architecture improvements have been proposed since my last post on “The Transformer Family” about three years ago. Here I did a big refactoring and enrichment of that 2020 post — restructure the hierarchy of sections and improve many sections with more recent papers. Version 2.0 is a superset of the
Transformer のパラメータ数を増やしながらも必要な計算量の増加を抑えることができる Switch Transfomer のご紹介です。Google さんのように1兆6千億パラメータは無理ですが、規模が小さいモデルでも効果が見込めるようなので、実際に動かして確認してみたいと思います。 1. はじめに 今回は今年1月に発表された Switch Transformer 1 の話です。 Transformer というモデルはそのサイズに応じて性能が伸びることが良く知られています2。近年どんどん巨大化しており、 Switch Transformer ではついにパラメータ数が1兆6千億個に達しました3。 この連載ではこの手の巨大なモデルは「スゴイのはわかるんですけれど、デモをつつくぐらいで手元で動かせないなぁ～。」とスルーしていたのですが、 Switch Transformer はパラメータ
拡散モデル - 岩波書店
拡散モデルはデータを生成できるモデル、いわゆる生成モデルの1つで、注目を集めている。拡散モデルはその生成品質の高さや用途の多様性だけでなく、これまでの生成モデルにはない高い拡張性があり、多くの分野で急速に使われ始めている。 拡散モデルを利用した成果の代表例は、2022年に登場した DALL-E2 やMidjourney、Stable Diffusion であろう。これらのサービス／ソフトウェアは、ユーザーが指定したテキストに対応する画像を生成する。その際、生成対象だけでなく、そのスタイルやテーマを自由に指定することができる。そのため世界中の多くのユーザーの注目を集めており、既に膨大な量の作品が生成されている。自然言語がカバーする膨大な対象、スタイル、テーマに対応する高品質な画像を生成できるこれらのサービスの技術の根幹が拡散モデルであり、そのポテンシャルの高さを示している。 拡散モデルは従来
用語「ファインチューニング」について説明。「事前学習」した訓練済みニューラルネットワークモデルの一部もしくは全体を、別のデータセットを使って再トレーニングすることで、新しいタスク向けにモデルのパラメーターを微調整することを指す。 連載目次 用語解説 機械学習（厳密にはニューラルネットワーク）におけるファインチューニング（Fine-tuning：微調整）とは、あるデータセットを使って事前学習（Pre-training）した訓練済みモデルの一部もしくは全体を、別のデータセットを使って再トレーニングすることで、新しいタスク向けに機械学習モデルのパラメーターを微調整することである（図1）。一般的に、再トレーニングの際の学習率はより小さな値にするため、既に調整済みのパラメーターへの影響もより小さなものとなる。 ファインチューニングは、（広義の）転移学習（Transfer Learning）の一つのア
自己教あり学習 (Self-Supervised Learning) に関する資料 2023年1月24日作成 岡本直樹（中部大学・機械知覚&ロボティクス研究グループ）
Web site created using create-react-app
GitHub - BlinkDL/ChatRWKV: ChatRWKV is like ChatGPT but powered by RWKV (100% RNN) language model, and open source.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - Valkyrja3607/tuning_playbook_ja: ディープラーニングモデルの性能を体系的に最大化するためのプレイブック
現在，ディープニューラルネットワークを実際にうまく機能させるためには，驚くほど多くの労力と推測が必要です．さらに悪いことに，深層学習で良い結果を得るために実際に使われるレシピが文書化されることは稀です．論文では，よりきれいなストーリーを提示するために，最終的な結果に至ったプロセスは無視され，商業的な問題に取り組む機械学習エンジニアには，一歩下がってそのプロセスを一般化する時間はほとんどありません．教科書は，たとえ著者が有用な助言を提供するために必要な応用経験を有していたとしても，実用的な指針を避け，基本原理を優先する傾向がある．このドキュメントを作成する準備をしていたとき，私たちは，深層学習で良い結果を得る方法を実際に説明する包括的な試みを見つけることができませんでした．その代わりに，ブログ記事やソーシャルメディア上のアドバイスの断片，研究論文のappendixから覗くトリック，ある特定の
【NeurIPS2022】過去17年間の機械学習・AI研究のトレンドを調査してみた - ENGINEERING BLOG ドコモ開発者ブログ
こんにちは。dcm_chidaです。 ドコモ開発者ブログ初投稿です。よろしくお願いします。 はじめに みなさん「NeurIPS」と言う国際会議名を聞いたことがあるでしょうか？ 機械学習・データ分析の分野では毎年たくさんの国際会議が開催されていますが、NeurIPSはその中でも歴史あるトップカンファレンスの一つです。世界中の研究機関や企業から最先端の論文が投稿されます。 NTTドコモR＆DではKDDやNeurIPSといった国際会議の論文読み会を不定期に開催しております。「今年もNeurIPSの論文読み会やるかー」と思って、会議そのもの概要や最新の研究動向などを調べてみたので、ブログ記事にまとめようと思います。 論文そのものの解説記事ではないのでご注意ください。 １分で分かるNeurIPS2022の概要まとめ 会議名称 The Conference and Workshop on Neural
Google Researchの神資料を読み解いてみる①【Deep Learning Tuning Playbook】 - Qiita
はじめに 研究しなきゃなのはわかってるが何から始めればいいんだ、とりあえずでモデル組んだけどまともに動かん。なにがダメなのか分からねぇ、どこをどういじれば何がどう変わるんだ、、、と日々悲鳴をあげている中、Google Researchの研究者による、Deep Learning Tuning Playbook（ https://github.com/google-research/tuning_playbook ）が公開されました。 どうやら深層学習ネットワークをチューニングする際の考え方やら注意点を、Googleの神たちがまとめてくださっているようです。これは読んでおこうと思い、自分の読解とメモついでに和訳してみることにしました。 【注意】 翻訳アプリそのままではなく、一応多少自分なりに解釈して理解したいということで、一部抜けてたり言い回しが違ったり、そのまんま和訳になっているとは限りませ
高性能チャットボット「ChatGPT」を支える“劣悪な労働搾取”を米誌がスクープ | 時給は最高2ドル。残虐な動画を検閲し続ける…
トラウマを残した「労働搾取」 米「タイム」誌がテクノロジー業界の闇を暴き、大きな話題になっている。 問題となっているのは、高い文章生成能力が注目される、AI搭載チャットボットの「ChatGPT」。その生みの親であるAI企業「オープンAI」がパートナー企業を通じ、時給2ドル以下でケニア人労働者を雇っていたことがわかったのだ。 オープンAIはマイクロソフトから100億ドルの出資を受ける可能性が報じられるほど、いまもっとも注目されている企業だ。いったい何が起きているのか。 オープンAIが外注先として依頼していたのは、米サンフランシスコに拠点を置くサマ社。同社はケニアやウガンダ、インドの人材を雇い、グーグルやメタ、マイクロソフトなどの顧客向けに、有害なネット情報を選別する「データのラベリング作業」を実施していたという。 ケニア人の労働者たちは、データのラベリング作業の過程で、処刑や性的虐待など極め
こんにちは、TURING株式会社（チューリング）でインターンをしている、東大大学院修士一年の舘野です。 TURINGは完全自動運転EVを開発しているベンチャー企業です。 完全自動運転を実現するには、車の周りの環境をセンシングし認識するシステムが不可欠です。センシングのためのセンサーは様々考えられますが、TURINGでは主にカメラを用いています。 自動運転AIにはカメラデータから信号機・標識・周囲の車、などの情報を読み取る必要がありますが、そのためにはそれぞれの目的に対応した学習が必要です。 一番単純な方法は、学習させる各動画フレームに対して人間が信号機・標識・周囲の車などの正解情報を付与し、AIモデルが動画を見て正解情報を予測できるようにすることです。下図は、画像から車を検出するモデルの例です。モデルの中身は画像の特徴量を抽出する部分と、分類を行う部分を分けて表現していますが、学習時は元デ
GitHub - google-research/tuning_playbook: A playbook for systematically maximizing the performance of deep learning models.
This document is for engineers and researchers (both individuals and teams) interested in maximizing the performance of deep learning models. We assume basic knowledge of machine learning and deep learning concepts. Our emphasis is on the process of hyperparameter tuning. We touch on other aspects of deep learning training, such as pipeline implementation and optimization, but our treatment of tho
マジレスされてチビッた．こりゃGoogleさんもビビるわけだ． ぼく： How were you implemented? Is it deep learning-based? ChatGPT: I am a language model called GPT-3 (Generative Pre-trained Transformer 3) that was developed by OpenAI. It is a deep learning-based model that uses a type of neural network called a transformer, which was trained on a large dataset of text to learn patterns of language. GPT-3 is trained using a techni
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
単体のGPUでもGPT-3などの大規模言語モデルを処理できる「FlexGen」が登場
最強の囲碁AIに圧勝する人物が登場、AIの弱点を突いて人類が勝利したと話題に
ChatGPTに感情回路を埋め込んだら、やべぇ感じになった｜深津 貴之 (fladdict)
【Transformerの基礎】Multi-Head Attentionの仕組み
Symbolic Discovery of Optimization Algorithms
自己教師あり学習（Self-Supervised Learning：SSL）とは？
ControlNetでポーズや構図を指定してAIイラストを生成する方法｜ddPn08
Bing AIのチャットができること｜品田遊（ダ・ヴィンチ・恐山）
人工知能・深層学習を学ぶためのロードマップ | 東京大学松尾研究室 - Matsuo Lab
2022年の深層学習ハイライト - Qiita
GPT in 60 Lines of NumPy | Jay Mody
事前学習（Pre-training）と下流タスク（Downstream Tasks）とは？
自民党AIの進化と実装に関するプロジェクトチーム｜衆議院議員 塩崎彰久（あきひさ）
TensorRTを使ってStableDiffusionを爆速にする
The Transformer Family Version 2.0
Takuya Kitagawa/北川拓也 on Twitter: "近年のAIの進化は実は理解されていない。 ChatGPTを筆頭に、信じられないレベルでAIが進化している。 そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。 おそらく発明した研究者本人たちですら。 どういうことか。 1/n"
はじめての自然言語処理 Switch Transformer の検証 | オブジェクトの広場
ファインチューニング（Fine-tuning：微調整）とは？
Self-Supervised Learning
Understanding Deep Learning
https://twitter.com/goto_yuta_/status/1616327276899217409
脱・人力アノテーション！自己教師あり学習による事前学習手法と自動運転への応用
ChatGPTにお前はどうやって実装されてんの？って聞いてみたら