AI成果物が急増したことで「AI生成コンテンツをAIが学習するループ」が発生し「モデルの崩壊」が起きつつあると研究者が警告 - GIGAZINE
Adobeが権利的にクリアなトレーニングモデルを用いた画像生成AI「Firefly」を発表したり、Microsoftの検索エンジンであるEdgeで対話型AIのChatGPTが活躍していたり、世界的なコンサル企業が「社員の50％は業務にジェネレーティブAIを活用している」と明らかにしたりと、ジェネレーティブAIは社会に広がり続けています。しかし、AIを使用してコンテンツを作成・公開する人が増えていることで、新たな問題として「AIが生成したコンテンツがインターネット上にあふれ、それをAIが学習することで、重大な欠陥が生まれている」ということが研究者グループから指摘されています。 [2305.17493] The Curse of Recursion: Training on Generated Data Makes Models Forget https://doi.org/10.48550/
ChatGPTを支えた高品質AI作成手法「RLHF」の中身はこんな感じ、面倒なデータ入力・整理はオープンソースでセルフホスト可能なプラットフォーム「Argilla」が便利
RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに
GPT-4登場以降に出てきたChatGPT/LLMに関する論文や技術の振り返り - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、GPT-4の登場から執筆日（2023年5月31日時点）までの2ヶ月間で登場した論文を振り返りながら、まとめて紹介していきます。 LLM/ChatGPTの動向 オープンソースLLM モデル オープンソースLLMの調整 Adapter、LoRA Instruction Tuning Human Feedback プロンプトエンジニアリング プロンプトエンジニアリングの課題①：プロンプトに大量の情報を入れられない プロンプトエンジニアリングの課題②：複雑なタス
「AI多すぎ、何使えばいいか分からない……」を解決するAI「HuggingGPT」 文章入力だけで、適切な機械学習モデルを自動選択
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 中国の浙江大学とMicrosoft Research Asiaに所属する研究者らが発表した論文「HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace」は、大規模言語モデル（LLM）と多数の機械学習モデルを連携し、ユーザーがテキストを入力するだけで、その内容を解決するための適切な機械学習を選んでくれるシステムを提案した研究報告である。 今回はChatGPTと、LLMの機械学習モデルやデータセットなどが共有されているプラットフォーム「Hugging Face」（詳細
「プロンプトエンジニアリング」の“教科書”、日本語版が登場 無償でAIの上手な使い方を解説
資料を和訳したのは、HRテック事業などを手掛けるギブリー（東京都渋谷区）の取締役を務める新田章太さん。翻訳作業にもGPT-4を活用したとし「日本語翻訳をよりナチュラルにできるよう、プロンプティングしながら作業したので、実質の翻訳作業はたった1日で終わった」と説明している。 関連記事 東大松尾教授が答える、ChatGPTとは何なのか？ 一問一答 国内におけるAIの権威である東京大学の松尾豊教授は、ChatGPTをどう見ているのか？ ChatGPTは、一時的なトレンドか技術的転換点か、AI研究者から見てChatGPTは？ 日本もLLMを作ったほうがいいのか？ といった問に答えた GPT-4にGPT-4の発表を要約させてみた 人間よりも良い記事になるか？ 超長文をChatGPTに読ませる方法も 米OpenAIの大規模言語モデル「GPT-4」。言語処理性能がずば抜けているというが、ではGPT-4は
歌声から伴奏を生成するAI「SingSong」 Googleが技術開発
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 Google Researchに所属する研究者らが発表した論文「SingSong: Generating musical accompaniments from singing」は、歌声からその歌に適した伴奏を生成する機械学習モデルを提案した研究報告である。入力した歌声に合わせてインストゥルメンタル音楽（インスト）を生成し、す入力の歌声と生成した楽器を合成した新たな音源を出力る。 SingSongは、音源分離とオーディオ生成の2つのモデルから構成される。まず既存の音源分離アルゴリズムを用い、大規模で多様な音楽コーパスをボーカルと楽器の音源のペアに分離し
Chat GPTの完全な上位互換！Bing AIの面白い使い方まとめ｜梶谷健人 / 新著「生成AI時代を勝ち抜く事業・組織のつくり方」
テレビ番組で特集されるなどChatGPTへの注目が高まっていますが、その上位互換となるBing AIはもう使われましたでしょうか？ ChatGPTで使われてるGPT3.5というモデルの発展版を開発元のOpenAIがマイクロソフトに提供する形で作られたBing AIは、過去の学習範囲内で回答するChatGPTと異なり、事前学習データ+対話ごとに関連する検索結果を都度読みにいくことで、非常に精度の高く正確な解答をすることが可能になっています。 このnoteではそんなBingAIを時間を忘れて使い倒してみた自分が特に面白いなと思った使い方をジャンル別に紹介します。 仕事SpotifyとApple MusicのARPUを聞いたらWeb上の開示情報から比較数字を提示してくれ、さらにSpotifyの方が低い理由も仮説を提示してくれました。 Bing+GPTが凄すぎて深夜3時に興奮が止まらなくなってる。
「CustomGPT.ai」でPublickeyのコンテンツを学習させたチャットBotを作ってみた。サイト検索の代わりになるか？ 回答の精度と3つの大きな課題
「CustomGPT.ai」でPublickeyのコンテンツを学習させたチャットBotを作ってみた。サイト検索の代わりになるか？ 回答の精度と3つの大きな課題 ChatGPTを開発したOpenAIの技術を用いて、インターネット上のコンテンツをAIに学習させる機能を備えた「CutomGPT.ai」（以下CustomGPT）と呼ばれるサービスが登場しました。開発したのはPoll the People社です。 CustomGPTは、ChatGPTの持つ幅広い汎用の知識に加えて、特定のWebサイトの情報などを学習させることで、特定の情報に詳しくなるようにカスタマイズできるAIだと説明されています。 Product Hunt Launch Alert Today, we launched our https://t.co/PhjhqGcTkH on @ProductHunt. What is it:
米マイクロソフト、3秒で声を真似できる音声合成AI「VALL-E」を発表 - fabcross for エンジニア
米マイクロソフトは2023年1月5日、3秒の音声データから話し手の声を学習し、その声でテキストを読み上げることができる言語モデル「VALL-E」をgithubで発表した。 従来の音声合成では、音素からメルスペクトログラム、そして音声波形、というステップを踏んでいた。それに対しVALL-Eでは、音素から離散コード、そして音声波形という流れになっている。音素と音響コードプロンプトに基づいて、対象となるコンテンツと話者の声に一致する離散音声コーデックコードを生成する。 VALL-Eでは、テキスト音声合成（TTS: Text to Speach）を従来のような連続信号回帰ではなく、条件付きの言語モデリングタスクとして捉える点が特徴だ。また、既存のシステムの数百倍にあたる6万時間もの英語音声を学習データとしている。 その結果、最先端のゼロショット（機械学習で、学習していないものを識別あるいは予想など
MLOps論文 Machine Learning Operations (MLOps): Overview, Definition, and Architecture の要点まとめ - 肉球でキーボード
MLOpsを体系的にまとめた論文「Machine Learning Operations (MLOps): Overview, Definition, and Architecture」を読んだので、要点をまとめました。 元論文：https://arxiv.org/abs/2205.02302 TL;DR 「MLOpsって何？」に答えた論文 MLOpsに関わる文献調査・ツール調査・専門家インタビューを行った MLOpsに必要な原理・要素・ロール・アーキテクチャをまとめた MLOpsの言葉の意味を定義した MLOpsの課題をまとめた 本文要点 0 Abstract MLOpsは今だに漠然とした言葉であり、研究者と専門家間でMLOpsの定義が曖昧となっている。 本論文では文献調査・ツール調査・専門家へのインタビューを行い、MLOpsを調査した。 調査から以下の結果を体系的にまとめた MLOps
Machine Learningを用いた論文一覧2018 | Seamless
Machine Learningを用いた論文2018を精選し一覧（60本程）にしました。Seamless Supporter Programに参加されている方は、完全版（100本程）をこちらより閲覧することができます。 本論文は、fMRIで測定した人間の脳活動のみから、その人が見ている画像を機械学習を用いて再構成する技術を提案します。本提案手法は、人間が見ている画像を、fMRIで測定した脳活動パターンのみで知覚内容を視覚化します。また、一度見た画像を記憶し、画像を見ていない状態から心の中でイメージする脳活動だけで再構成することも実証しました。 論文：Deep image reconstruction from human brain activity 著者：Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani 所属：AT
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
