Google Colab で Llama 3 を試す｜npaka
「Google Colab」で「Llama 3」を試したので、まとめました。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. Llama 3 のモデル「Llama 3」では現在、次の4種類のモデルが提供されています。 ・meta-llama/Meta-Llama-3-8B ・meta-llama/Meta-Llama-3-8B-Instruct ・meta-llama/Meta-Llama-3-70B ・meta-llama/Meta-Llama-3-70B-Instruct 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install -U transformers accelerate bitsandbytes(2) モデルカードで利用許諾。 (3)
Google Colab で LLaMA-Factory を試す｜npaka
「Google Colab」で「LLaMA-Factory」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. LLaMA-Factory「LLaMA-Factory」は、WebUIによる簡単操作でLLMを学習できるLLMファインチューニングフレームワークです。 サポートするモデルは、次のとおりです。 サポートする学習法は、次のとおりです。 サポートするデータセットは、次のとおりです。 事前学習データセット ・Wiki Demo (en) ・RefinedWeb (en) ・RedPajama V2 (en) ・Wikipedia (en) ・Wikipedia (zh) ・Pile (en) ・SkyPile (zh) ・The Stack (en) ・StarCoder (en) SFTデータセット ・Stanford
Windows Copilot の使い方｜npaka
「Windows Copilot」の使い方をかるくまとめました。 ・Welcome to Copilot in Windows 1. Windows Copilot「Windows Copilot」は「Windows 11」に搭載された人工知能ツールであり、「Bing Chat」と連携して、Windowsにまつわる各種作業をサポートします。「Windows Update」で最新版 (22H2以降) にアップデートすることで、利用できるようになります。 2. Windows Copilot の使い方「Windows Copilot」の使い方は、次のとおりです。 (1) 「タスクバーのCopilotアイコンをクリック」または「Win+C」で起動。 サインイン中のMicrosoftアカウントを使用するため、Windowsにローカルアカウントでサインインしている場合は利用できません。 (2) 会話
Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。｜npaka
「Google Colab」で「Xwin-LM-70B-V0.1-GPTQ」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で70Bを動作確認しています。 1. Xwin-LM-70B-V0.1-GPTQ「Xwin-LM」は、ベンチマーク「AlpacaEval」で「GPT-4」を追い抜き1位を獲得したモデルです。 今回は、「TheBloke/Xwin-LM-70B-V0.1-GPTQ」を利用します。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「A100」を選択。 (2) パッケージのインストール。 GPTQを利用するため、「auto-gptq 」もインストールしています。 # パッケージのインストール !pip install t
LLMのファインチューニング で 何ができて 何ができないのか｜npaka
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
OpenAI API の ファインチューニングガイド｜npaka
1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン
ローカルLLMの情報まとめ｜npaka
「ローカルLLM」の記事が増えてきたのでまとめました。 「Llama 2」ベースのローカルLLMについては、以下でまとめています。
Google Colab で GPT4ALL を試す｜npaka
「Google Colab」で「GPT4ALL」を試したのでまとめました。 1. GPT4ALL「GPT4ALL」は、LLaMAベースで、膨大な対話を含むクリーンなアシスタントデータで学習したチャットAIです。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) 新規のColabノートブックを開く。 (2) Googleドライブのマウント。 Colabインスタンスに大きなファイルをアップロードするのは大変なのでGoogleドライブを使ってます。 # Googleドライブのマウント from google.colab import drive drive.mount('/content/drive')(3) 作業フォルダへの移動。 # 作業フォルダへの移動 import os os.makedirs("/content/drive/My Drive/work", ex
Google Colab で RWKV を試す - ChatRWKV版｜npaka
「Google Colab」で「RWKV」を試したので、まとめました。 1. RWKV「RWKV」は、TransformerレベルのLLM性能を備えたRNNです。高性能、高速推論、VRAMの節約、高速学習、長い文脈長、自由な埋め込みを実現しています。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」の「プレミアム」を選択。 (2) Googleドライブのマウント。 # Googleドライブのマウント from google.colab import drive drive.mount('/content/drive')(3) 作業フォルダへの移動。 # 作業フォルダへの移動 import os os.makedirs("/content/drive/My Drive/work",
OpenAI API で提供されている モデル まとめ｜npaka
1. OpenAI APIのモデル「OpenAI API」は、用途に応じて「GPT-3.5」をはじめとする様々なモデル を提供しています。 ・GPT-3.5 : 自然言語とコードを理解および生成する最新モデル。 ・DALL-E : 自然言語から画像を生成・編集するモデル ・Whisper : 音声をテキストに変換するモデル ・Embeddings : 埋め込み (ベクトル表現) を生成するモデル ・Codex : コードを理解および生成するモデル ・Moderation : センシティブおよび 安全でない文章を検出するモデル ・GPT-3 : 自然言語を理解および生成する旧モデル 2. GPT-3.5「GPT-3.5」は、自然言語とコードを理解および生成する最新モデルです。最も高性能で費用対効果の高いモデルは、チャット用に最適化されていますが、既存タスクにも適している「gpt-3.5-tu
ChatGPT - 対話のための言語モデルの最適化｜npaka
2. ChatGPTの利用現在、リサーチプレビュー期間中のため、以下のサイトで無料で利用できます。テキストフィールドにメッセージを入力するだけです。 3. ChatGPTの学習方法「ChatGPT」は、2022年初頭に学習を終えた「GPT-3.5」シリーズのモデルをベースにファインチューニングしています。「InstructGPT」と同じ手法で，人間のフィードバックからの強化学習（RLHF）で学習していますが、データ収集手順に違いがあります。 (1) 人間がユーザーとAIアシスタントの両方を演じた「デモデータ」を作成し、そのデータを使って「モデル」を教師あり学習。 (2) 「モデル」のレスポンスを人間がランク付けした「比較データ」を作成し、そのデータを使って「報酬モデル」を学習。 (3) 「報酬モデル」を使用して強化学習 (PPO) で「モデル」を最適化。 このプロセスを数回繰り返しています
最近話題になった 音楽生成AI まとめ｜npaka
最近話題になった「音楽生成AI」をまとめました。 1. AudioGenテキストからオーディオを生成するAIモデルです。「風が吹く中で口笛をする音」や 「大勢の歓声の中で話す男性の声」といったテキストから、それらしい音を生成してくれます。 現在のところ、モデルやAPIは提供されていません。 We present “AudioGen: Textually Guided Audio Generation”! AudioGen is an autoregressive transformer LM that synthesizes general audio conditioned on text (Text-to-Audio). 📖 Paper: https://t.co/XKctRaShN1 🎵 Samples: https://t.co/e7vWmOUfva 💻 Code & mod
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
音楽生成AI のリリース年表｜npaka
最近話題になった大規模言語モデルまとめ｜npaka