〜AIが名曲を生み出す〜 この音楽を聴いてみてください。 See the Pen MusicTransformerDemo by NayuSato (@nayusato) on CodePen. 埋め込みが見られない場合はここ これはGoogleの自動作曲Music Transformerが生み出した曲の1つです。 入力は、最初の6秒だけ。 クラシックのドビュッシー「月の光」の冒頭6秒だけを与えて、その続きを全て作らせるというタスクを行わせています。 十分聴き入って感動できるような曲に仕上がっています。 ケチをつけられる点がないとは言わないけれど、「人の作った曲です」と言われても識別できないほどの精度になっています。 「Music Transformer」 2018年Googleが発表した自動作曲のAI。 自然言語処理のアルゴリズムであるTransformerを音楽に適用することにより、そ
「Google Colab」で 「PEFT」による大規模言語モデルのファインチューニングを試したので、まとめました。 1. PEFT「PEFT」(Parameter-Efficient Fine-Tuning)は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 大規模言語モデルのファインチューニングは、多くの場合、法外なコストがかかりますが、「PEFT」は少数のパラメータのみをファインチューニングするため、計算コストとストレージ コストが大幅に削減でき、さらには、完全なファインチューニングに匹敵するパフォーマンスを実現します。 現在サポートしている手法は、次の4つです。 ・LoRA ・Prefix Tuning ・P-Tuning ・Prompt Tuning 2. Colabでの実行Google Colab
Google I/O 2023基調講演まとめ
米Googleは5月10日（現地時間）、年次開発者会議「Google I/O」をハイブリッドで開催した。約2時間20分の基調講演で発表されたことを時系列で簡単にまとめる。なお、開発者向け基調講演は別途行われており、技術的な詳細はそちらで発表された。 ハードウェアも発表されたが、全体的にAI中心の講演となった。オープニングに流れた動画もGoogleが数年前からAIに取り組んできたことを示すもので、「われわれは（AIに）大胆な野心を持っているが、アプローチには常に責任がある」とし、そのアプローチの方針は「Make AI helpful for everyone（AIを誰にとっても役立つものに」だという。 最初に登壇したスンダー・ピチャイCEOは「みなさんもご存じの通り、今年はAIが非常に忙しい年になっており、私達にも語ることがたくさんあります」と口火を切った。 「生成AIにより、Google検
「Kaggleに挑む深層学習プログラミングの極意」は超実践的でKaggleをしない人にも役立つ書籍でした - karaage. [からあげ]
「Kaggleに挑む深層学習プログラミングの極意」献本いただきました 出版社様より「Kaggleに挑む深層学習プログラミングの極意」を献本いただきました。 Kaggleに挑む深層学習プログラミングの極意 (KS情報科学専門書) 作者:小嵜 耕平,秋葉 拓哉,林 孝紀,石原 祥太郎講談社Amazon もともと著者の1人である u++ (id:upura)さんがブログで紹介していたときから、絶対読みたかった本だったので、献本素直に嬉しかったです。 今のところ、興味のあった1〜3章まで手を動かしながら読んで、4章、5章はざっと目を通したといったところですが、凄い良い本という手応えを得ていますので、紹介したいと思います。 「Kaggleに挑む深層学習プログラミングの極意」レビュー 最初に、自分自身のレベル感を書いておくと、AIはほぼ趣味で勉強しています（仕事でも、一応最近ちょっとだけ使った経験あり
![「Kaggleに挑む深層学習プログラミングの極意」は超実践的でKaggleをしない人にも役立つ書籍でした - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/4018a95d99fa914eb62e9e998c6ee90dab249b0e/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20230201%2F20230201003729.jpg)
ディープラーニング（深層学習）に関連する、開発事例や最新技術動向を情報発信するコミュニティー「DEEP LEARNING LAB」は2019年6月8日、2周年を記念するイベントを都内で開催した。本稿では基調講演で語られた内容を紹介する。 最初に登壇した東京大学大学院工学系研究科 人工物工学研究センター／技術経営戦略学専攻 教授 松尾豊氏は、2006年7月に発表されたGeoffrey E. Hinton氏およびSimon Osindero氏の論文「Deep Bellef Net」から始まり、2019年5月発表のJonathan Frankle氏およびMichael Carbin氏による「宝くじ仮説」に至るまでの歴史をひも解きつつ、「深層学習技術は進み、事例も増えてきた一方で、課題が残る」と指摘する。 平成元年（1989年）時と平成30年（2018年）時の世界企業時価総額ランキングを比較して、
＠IT eBookシリーズ Vol.64『普通のエンジニアが初めて動かすディープラーニング』（画像クリックでeBookを表示） AI・機械学習・ディープラーニングはもはや、あなたのような「普通のエンジニア」にとっても「使えない」では済まされないトピックだ。しかし「どこから手を付ければよいのかが分からない」「書籍を読んだけど数式がたくさん出てきて、途中で読むのをやめてしまった」「書籍は何とか1冊読み切ったけど、やっぱり仕組みと挙動への理解が不十分で実践しづらい」という人は少なくないのではないだろうか？ 本書は、『普通のエンジニアでも分かるディープラーニング概説：人気連載まとめ読み！ ＠IT eBook（58）』の続編として、ディープラーニングの仕組みと実装方法を初心者向けに解説している。図解（「ニューラルネットワーク Playground - Deep Insider」という無料で動かせるW
PFNが提供する教育コンテンツについて - Preferred Networks Research & Development
PFNフェローの丸山（宏）です。2月にプログラミング教育についてのブログを書きました。またそれに合わせて制作した教材を利用して、6月に弊社カフェテリアで、小学生を対象にした体験教室を開催しました。この体験教室については、丸山（史郎）がロボットカーの体験教室について、西澤が火星語翻訳を題材にした教材について書いています。今回、山梨大学と共同で、高専・大学学部向けの教材 ロボットカーで学ぶ深層学習の基礎 を開発しました。このブログでは、これら一連の教育関連の活動について、その意義と全体像をもう一度整理してみたいと思います。 また、付録に、現在PFNが提供する教育用コンテンツのリストがありますので、そちらもご利用ください。 古典的プログラミング 2016年に文部科学省が主宰する「小学校段階における論理的思考力や創造性、問題解決能力等の育成とプログラミング教育に関する有識者会議」は、議論の取りまと
ニューラル場ってなに？
前書き：こんにちは、@yongyuanxiです。トロント大学とNVIDIAでPhD学生兼リサーチサイエンティストとしてニューラル場の研究をしています。今回はブラウン大学・MIT・グーグル・フェイスブック・TUM等の研究者達と共同で書いたニューラル場に関するサーベイ論文がArXivに出たので軽く日本語で紹介しようと思います。他にもブログ記事をきままに書いているので興味あればどうぞ！ サーベイに至る経歴２０２０年あたりからコンピュータグラフィックスやコンピュータビジョン界隈はNeRF: Representing Scenes as Neural Radiance Fields for View Synthesis（通称NeRF）という論文・手法で凄まじく盛り上がっています。NeRFはレンダリング方程式（カジヤ先生の方程式）を逆問題として解く手法です。具体的には、レンダリング方程式を放射輸送方程
機械学習システムの信頼性を数値化し、技術的負債を解消する論文「 The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction」
機械学習システムの信頼性を数値化し、技術的負債を解消する論文「 The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction」 2020-04-25 [抄訳] What’s your ML test score? A rubric for ML production systemsで紹介した論文の続編があったので読んでみました。 注意)この翻訳記事は原著論文の著者陣からレビューはされていませんShunya Ueta, are providing a translation and abridgment, which has not been reviewed by the authors.Change log2021/02/03ML Test Score を簡単に計算できるGoogl
大澤昇平🇺🇳 on Twitter: "高学歴女に左翼が多いのは、偏差値高いが故に、とりあえず多様性叫んでおけば出世できることを知ってるから。ただし出世はできるけど男はできない。おやおや。"
高学歴女に左翼が多いのは、偏差値高いが故に、とりあえず多様性叫んでおけば出世できることを知ってるから。ただし出世はできるけど男はできない。おやおや。
アイドル画像生成AIとNFTを使ったDapp A.I.dols Codebaseをオープンβリリース最新技術を駆使して自分だけのアイドルを作りプロデュースできるエンターテインメント 株式会社ジーンアイドル（本社：東京 / 代表取締役社長 小幡拓弥）は、画像生成AI、音声合成AIにより、ユーザが自分だけの完全オリジナルアイドルを作り出すことができるA.I.dols Codebaseのβ版をリリースした。生成したアイドルはブロックチェーン上でトークン化され、運営サーバ上ではなくユーザ自身が保有したり、譲渡したりできる。 トークン化については、ICOVO AG（本社：Zug,Switerland/CEO 山瀬 明宏）が提供するトークンエコノミープラットフォームを使用しており、A.I.dols Codebaseは同社が手がける第一弾プロジェクトだ。 2019年6月2日にリリースされたβ版は、Et
ChatGPTやBardなど、2023年7月時点で商用利用されている大規模言語モデルはほとんど全てがトランスフォーマーというアーキテクチャを利用したモデルですが、トランスフォーマー型のモデルは入力の長さの2乗に比例して計算量が増加するため、入力サイズが制限されてしまう問題があります。そうした問題に応えて、大きいデータへの対応や推論時のメモリ使用量の削減を達成しつつトランスフォーマー型に匹敵する性能を出せるアーキテクチャ「RWKV」について、著者の一人がブログで解説しています。 The RWKV language model: An RNN with the advantages of a transformer | The Good Minima https://johanwind.github.io/2023/03/23/rwkv_overview.html How the RWKV l
機械学習やAIのプロジェクトを始めたり進めたりするのに，いわゆる "PoC祭り" になってしまうことがありますが，何とか回避できないかといろんな人たちが分析・コミュニケーション手法を作っていますので少し調べてみました．たぶん網羅はしていないのでその点はご容赦ください． 海外の手法 The Machine Learning Canvas 公開の日付が見つけられませんでしたが，たぶん老舗です．書籍なども出ているようです． ぱっと見でどこに何を書くのか分かりにくいですが，要素は充実しています．明らかに技術者寄りの作りになっています． 後で出てくる「機械学習キャンバス」もそうですが，初期の手法は非MLとの比較が含まれているのが面白いです． 出典: Machine Learning Canvas — Louis Dorard AI Project Canvas 要素数や配置を含め，ほとんどビジネスモ
【ICLR2020採択論文】GANのなめらかさと安定性 - Preferred Networks Research & Development
リサーチャーの南です。機械学習のトップ会議のひとつであるICLR2020に、2019年度PFN夏季インターンのCasey Chuさん、PFN技術顧問の福水健次教授と共同で書いた論文が採択されました。 Casey Chu, Kentaro Minami and Kenji Fukumizu. Smoothness and Stability in GANs. In International Conference on Learning Representations (ICLR), 2020, to appear. 論文リンク 本記事では、上記論文の内容を簡単に紹介します。 背景: GANと安定化技術 周知のとおり、敵対的生成ネットワーク (GAN, [1]) はとても強力な生成モデルです。例えば、GANによって自然な高解像度画像を生成できることが知られています。下記は高解像度画像生成にお
画像素材サイトを運営するACワークスは3月15日、両親の顔写真から赤ちゃんの顔をAIで予測するサービス「赤ちゃんAC」を公開した。無料で利用できる。 2人の顔写真を同サイトへアップロードすると、2人から生まれる赤ちゃんの顔画像をAIで合成する。合成画像は無料でダウンロード可能で、アップロードした顔写真も24時間で完全に消去するとしている。 赤ちゃんの顔画像の合成には、2人の顔を組み合わせて高解像な合成画像を作るディープラーニング技術の一つである、米NVIDIAの「StyleGAN」を利用しているという。親の顔の特徴抽出には「pixel2Style2pixel」というStyleGAN向けの計算手法を使うことで、通常は1分ほどかかるエンコード処理を数秒にまで短縮したとしている。 関連記事 “実在しないリアルな顔”を自在に編集できる「StyleRig」 StyleGANで生成した顔の向き、表情、
2022年6月 名古屋地区NLPセミナーでのトーク
TechCrunch
When Joanna Strober was around 47, she stopped sleeping. While losing sleep is a common symptom of perimenopause, she first had to go to multiple providers, including driving 45 minutes out of San Fra The Federal Trade Commission hit Razer with a $1.1 million fine Tuesday. The order claims that the gaming accessory maker misled consumers by claiming that its flashy Zephyr mask was certified as N95
TL;DR TransformersのNERではFast Tokenizerを使うことで、サブトークン ↔ ラベルのアラインメントが実装できる。 長いテキスト入力については、無駄なpaddingを最小限にとどめて高速処理するために、入力を固定長分割するのが良い。 検出漏れが問題になるようであれば、ストライド付きのwindow処理を追加するのが良い。 サンプル実装: github.com 背景 この記事を目に留めていただいた方にはおそらくおなじみであろう Hugging Face の Transformers *1。 BERT等のTransformer素子ベース事前学習モデルを用いた転移学習が容易に実験できるライブラリである。 最新モデルのモジュールがすごいスピードで実装されることに加えて、事前学習モデルおよび依存するトークナイザが一緒に管理・ダウンロードできる点がご利益として特に大きい。
その他層の数も探索空間に入れています。ここで拡張率とは、MBConvの最初のConvでチャネル数を何倍にするかの係数のことで、こちらでより詳しく解説しています。 探索は精度$A$、ステップごとの学習時間$S$、パラメータサイズ$P$を用いて、$A\cdot S^w\cdot P^v$を最大化するように行われます。ここで$w=-0.07, v=-0.05$であり、これらの値は実験的に決定されています。 1.3.2 EfficientNetV2のアーキテクチャ 下表がEfficientNetV2のSサイズのモデルになります。 画像: "EfficientNetV2: Smaller Models and Faster Training", Tan, M., Le, Q., (2021) 比較のためにEfficientNet-B0(i.e. V1)のアーキテクチャも下に載せます。 画像: "Ef
cedro on Twitter: "有名な動画の顔を入れ替えるディープフェイク技術FaceSwapは２つのビデオを使った長時間の学習プロセスが必要です。 SberSwapはこの学習プロセス無しで、ビデオと１枚の画像だけで顔を入れ替える技術です。 これは色々な顔をAn… https://t.co/Nw2po3Jo3V"
有名な動画の顔を入れ替えるディープフェイク技術FaceSwapは２つのビデオを使った長時間の学習プロセスが必要です。 SberSwapはこの学習プロセス無しで、ビデオと１枚の画像だけで顔を入れ替える技術です。 これは色々な顔をAn… https://t.co/Nw2po3Jo3V
TensorFlowの使い方 DevFest 2019
TensorFlow の使い方 TensorFlow 2.x とエコシステム bit.ly/2PEEh0s
GitHub - oreilly-japan/deep-learning-from-scratch-3: 『ゼロから作る Deep Learning ❸』(O'Reilly Japan, 2020)
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Discover amazing ML apps made by the community
はじめに ふと思い立って勉強を始めた「ゼロから作るDeep LearningーーPythonで学ぶディープラーニングの理論と実装」が読破できたので、感想やこれから読む方に向けてのメッセージをまとめます。購入を悩んでいる方や、読み始めたけど途中で挫折してしまった方の参考になれば幸いです。 良かった点 最後まで読んだ結果、「ディープラーニング完全に理解した1」と人に言えるようになりました😄 困った点 「ゼロから作る」とあるので、この本を読みながら実際に作ってみようと思われる方は多いかと思います。私もそんな1人だったのですが、この本だけで作るのは大変でした。具体的に困った点をまとめます。 Pythonは少し知っている必要があります この本の1章は「Python入門」ですが、内容はかなりあっさりしていますので、この1章だけではPythonのプログラミングができるようにはならないと思います。私はP
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
こんにちは、Choimirai School のサンミンです。 【主要なアップデート】 （2020.07.22）グーグルシート用の関数、gpt3() を追加 （2020.07.22）Repl.it のコード仕様説明ツールを追加 （2020.07.20）ReactでTODOリストのアプリを生成する動画を追加 0 はじめに2020年5月28日に発表された、GPT-3。 GPT-3: Language Models are Few-Shot Learners, by @notTomBrown et al. “We train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its
時系列予測に深層学習モデルが本当に必要？
3つの要点 ✔️ 時系列予測の領域で、最近深層学習モデルによる性能向上が急速に進んでいます。しかし、古典的な機械学習モデルはもう必要ないのかということで、この大規模な調査と比較実験が行われました。 ✔️ 古典的学習モデルの代表としてGBRTが使われています。深層学習モデルが実現した系列間の依存性の表現を入力の特徴量エンジニアリングベースのウィンドウ化で代替しました。 ✔️ 前処理により、改良GBRTは単変量、多変量両方のデータセットに対して、数多くの深層学習モデルと同等あるいは大きく上回る性能を示しました。 Do We Really Need Deep Learning Models for Time Series Forecasting? written by Shereen Elsayed, Daniela Thyssens, Ahmed Rashed, Hadi Samer Joma
AWS、機械学習で量産品の不良を見分ける「Amazon Lookout for Vision」の本サービス提供開始
AWS、機械学習で量産品の不良を見分ける「Amazon Lookout for Vision」の本サービス提供開始 米Amazon Web Servicesは2月24日（現地時間）、量産品の中から異常を見つけ出す「Amazon Lookout for Vision」の正式版の提供を始めた。2020年11月30日から開催したオンラインイベント「AWS re:Invent 2020」で発表し、プレビュー版として提供していたサービスだ。 Amazon Lookout for Visionは、カメラで写した大量生産品の画像を機械学習モデルで解析し、不良品を検出するサービスだ。初期費用は不要で、モデルの学習や解析にかけた時間に応じた従量課金となる。 米東部（バージニア北部）、米東部（オハイオ）、米西部（オレゴン）、ヨーロッパ（アイルランド）、ヨーロッパ (フランクフルト)、アジア太平洋（東京）、アジ
文系非エンジニアがChatGPT / LLMを数式なしで解説してみる｜Yuichiro.ito@Finatext(フィナテキスト)
先日、社内でChatGPT / LLMを活用した実証実験をしていたら、一部感動するほど結果が出たことで、今更ながら俄然興味を持ってしまいました。 これからビジネスユースケースを考えていくうえで、「本質的にどういうものなのか」を理解しておくことがとても大切だと思い、改めてChatGPT / LLMの基本的な仕組みを整理してみました。 私みたいな文系で行列や統計はわからないけど、もう少し根本的なところを理解しておきたい！という方に是非です。 それでは、GPTをはじめとするLLM（大規模言語モデル）がどのような背景から生まれてきたのかを振り返りながら、LLMの特徴を理解していきましょう！（最後に参照したおススメの動画・記事を貼っていますので、それだけでも是非ご覧ください。） 1. ベースは、ディープラーニングを用いた自然言語処理モデル2015年頃、日本でも"AI"がバズワードになり、ディープラー
Kaggleで学んだBERTをfine-tuningする際のTips②〜精度改善編〜 | 株式会社AI Shift
こんにちは AIチームの戸田です 本記事では前回に引き続き、私がKaggleのコンペティションに参加して得た、Transformerをベースとした事前学習モデルのfine-tuningのTipsを共有させていただきます 前回は学習の効率化について書かせていただきましたので、今回は精度改善について書かせていただきます データ 前回に引き続きKaggleのコンペティション、CommonLit-Readabilityのtrainデータを使います validationの分け方などは前回の記事を参照していただければと思います 精度改善 一般的なニューラルネットワークモデルの精度改善方法として、ハイパーパラメータのチューニングやData Augmentationが上げられますが、ここではBERTを始めとするTransformerをベースとしたモデル（以降Transformerモデル）特有の工夫について
一度覚えたことを忘れる？破局的忘却とは？現在、「人工知能（AI）」技術は至る所で耳にするようになりました。 例えば工場で、生産したものに傷がないか検品するにも、画像認識の人工知能が使われています。 その精度は凄まじく、人間より素早く、かつ正確に行うことができます。 しかし、そんな万能とも思えるような「人工知能」にもいくつか欠点があります。 破局的忘却（破滅的忘却）それは、破局的忘却（または、破滅的忘却）と呼ばれる欠点です。 なにやらカッコイイ響きの言葉です。 ですが、その内容は「一度何かを学習したネットワークに新しいものを覚えさせようとすると、以前学習したものを忘れてしまう」というもの（笑） 例えば、「りんご」と「みかん」を識別できるネットワークがあったとします。 そのネットワークに新しく「ぶどう」も識別させようと学習すると、「りんご」と「みかん」はもう忘れているのです！ 【図、破局的忘却
書いてあること 1.ニューラルネットワークって？ 2.ユニット？重み？バイアス？ 3.活性化関数 4.NNの全体像 5.まとめ ニューラルネットワークの全体像をふわっと理解することを目標にしています。数式とかは使ってないので数学アレルギーの人も是非見てください。 1.ニューラルネットワークって？ ニューラルネットワークとは下のようなやつのことです。英語で書くとNeuralNetworkなので、よくNNって略します。なので今回はNNで説明していこうと思います 丸いのを「ユニット」といい、ユニット同士を結んでる線を「シナプス」と呼びます。シナプスって呼ぶのが面倒いので今回は「線」って呼んで説明させてください。 NNは層の構造をしています。だいたい、左から1層目、2層目、、って数えていきます。最初の層を「入力層」、最後の層を「出力層」、間をまとめて「中間層(隠れ層)」と呼びます。下は4層のNNの
ディープラーニングで歌声音声合成エンジンを自作する
この記事は、ドワンゴ Advent Calendar 2019の１日目の記事です。 モチベーション 最近、理想の人工知能（歌ったり踊ったり喋ったりできるキャラクター）を作りたいと思うようになりました。人工知能が歌を歌うためには、歌声音声合成エンジンが必要です。ということで、ディープラーニングを使って、歌声音声合成エンジンの作成に挑戦してみました。この記事では、実際に音声合成した歌声や、その仕組み、別条件での実験結果、ディープラーニング周りの手法を紹介します。 デモ動画実際に作成した音声合成エンジンを使った歌唱のデモです。 （歌声音声合成を作ったら絶対最初にカバーしたいと思っていた歌、ハジメテノオトのカバーです。） 歌唱デモ音声 まだ挑戦し始めてから２週間ほどしか経っていないのでかなり荒削りですが、それでもちゃんと歌詞や音程が取れていたり、溜めの部分で大きく息を吸う音が入っていたりと、そこそ
「晩秋レトロミン」「筆竹仮名B」などのフリーフォントをリリースされている二人組ユニット「すずみばと書林」から、新作フリーフォントがリリースされました。 今回は、印刷での使用を目的にデザインされた「紙モノゴシック」 とは言え、もちろんスクリーン、Webデザインやスマホアプリやゲームに使用してもOKで、しっかりとその存在感を残すフォントです。
深層モデルのパラメータを一列に並べてベクトルにします。このベクトルは大規模なモデルであれば何十億次元にもなります。一見、意味のない数値の羅列のようですが、このベクトルはベクトルとして深い意味があることが分かってきています。例えば、 と を異なるパラメータベクトルとすると、 や をパラメータとして持つモデルはちゃんと機能します。本稿では、このようなモデルパラメータの算術を用いた手法とその背後にある理論について解説します。 モデルスープ タスクベクトル モデルパラメータとニューラルタンジェントカーネル おわりに モデルスープ モデルスープ [Wortsman+ ICML 2022] は複数のモデルパラメータを平均することで性能を上げる手法です。事前学習モデル からはじめて、様々なハイパーパラメータで訓練した結果のパラメータを とします。これらを平均したベクトル は個々のモデルよりも性能が高く、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自動作曲AI Music Transformerの衝撃 - Qiita
Google Colab で PEFT による大規模言語モデルのファインチューニングを試す｜npaka
深層学習はまだ初期段階--ビジネスインフラ化にはあと20年かかる：DEEP LEARNING LAB講演
普通のエンジニアが初めて動かすディープラーニング
アイドル画像生成AIとNFTを使ったDapp A.I.dols Codebaseをオープンβリリース
従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？
機械学習・AIプロジェクトの要素を整理する手法をまとめてみました - Qiita
【西川和久の不定期コラム】 強力なGPUを搭載した「Jetson Nano」でAIを走らせてみた
赤ちゃんの顔をAIで予測 両親の顔写真をアップロードするだけで
より良いTransformerをつくる
【後藤弘茂のWeekly海外ニュース】 NVIDIAの新アーキテクチャGPU「GeForce RTX 30」シリーズ
超弩級! 40万コア/1.2兆トランジスタ/46,225平方mmの深層学習用チップ
Transformersを用いた固有表現抽出のtips - MNTSQ Techブログ
2021年最強になるか！？最新の画像認識モデルEfficientNetV2を解説 - Qiita
DALL·E mini by craiyon.com on Hugging Face
【後藤弘茂のWeekly海外ニュース】 第3世代のディープラーニングプロセッサはモデル圧縮技術が鍵
IntelのMeteor Lake搭載ノート、dGPUなしでStable Diffusionを高速処理
ゼロから作るDeep Learningで素人がつまずいたことメモ: まとめ - Qiita
GPT-3を活用することで自然言語からコードを自動生成｜Sangmin Ahn
人工知能の欠点、破局的忘却とは？ – 株式会社ライトコード
【初心者向け】ねこでも分かるニューラルネットワーク超入門 - Qiita
商用無料、新作フリーフォントがリリース！ 柔らかで穏やかな、紙面を彩る見出し用ゴシック体「紙モノゴシック」
モデルパラメータの算術 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ