2024/3/6 Forkwell Library #45で登壇した際の資料です。 名前の通りGPT開発の「速度」「精度」「評価」のそれぞれについて解説してます。 近く大全↓とも統合するかと思いますが取り急ぎ。 https://speakerdeck.com/hirosatogamo/chatgpt-azure-openai-da-quan https://forkwell.connpass.com/event/310880/?utm_campaign=event_participate_to_follower&utm_source=notifications&utm_medium=twitter
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密 2024.02.18 Updated by Ryo Shimizu on February 18, 2024, 10:08 am JST 2024年1月。国内の生成AIコミュニティに激震が走った。 コンタクトセンター向けのチャットボット開発のパイオニアとして知られるカラクリ社が商用利用可能のオープンソースモデルとして公開したKarakuri-ln-70bの性能が高すぎると話題になったのだ。 多くの日本語LLMと同様に数学能力に関するスコアは低いが、物語を記述する能力、日本語の質問に日本語で答えたり、答えをプログラムで扱い易いJSON形式にしたりする能力がこれまでの国産LLMに比べて桁違いに高かったのである。 物語を記述する能力に関しては、一説によればGPT-4を凌駕するとも言わ
～国産モデルの中で最高性能を獲得～ カスタマーサポートDXを推進するカラクリ株式会社（東京都中央区：代表取締役CEO 小田志門、以下カラクリ）は、アマゾン ウェブ サービス ジャパン合同会社（以下、AWSジャパン）の「AWS LLM 開発支援プログラム」を活用して開発した700億パラメーターの大規模言語モデル（以下、LLM）「KARAKURI LM」を2024年1月29日に一般公開いたしました。本モデルは2024年1月26日に、LLMのベンチマークテスト「Japanese MT-Bench」で性能評価を実施し、国産LLMモデルとして最高性能（※）の評価が採点されております。 ※ 「Japanese MT-Bench」はStability AI社が提供しているベンチマークテストです。2024年1月26日に性能評価した結果、国産モデルとして最高点の評価を得ました。ベンチマークテストとは、定めら
カリフォルニア大学バークレー校・カリフォルニア大学サンディエゴ校・カーネギーメロン大学が協力して設立したオープンな研究組織・Large Model Systems Org(LMSYS Org)は、大規模な機械学習モデルのデータセットやオープンモデル、評価ツールを共同開発しています。LMSYS Orgが自身の開発した大規模言語モデルベンチマークプラットフォームで、GoogleのチャットボットAI「Bard with Gemini Pro」のベンチマークスコアがOpenAIのGPT-4の一部モデルを超えて2位にランクインしたと報告しました。 LMSys Chatbot Arena Leaderboard - a Hugging Face Space by lmsys https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard LM
最高性能の、日本語画像言語特徴抽出モデル「Japanese Stable CLIP」をリリースしました — Stability AI Japan
Stability AI は商用利用可能な日本語画像言語特徴抽出モデル「Japanese Stable CLIP」をリリースしました。モデル単体では、ゼロショット画像分類（事前にクラス情報を学習せずに画像分類）や任意のテキストから画像を検索する画像検索などに用いることができます。また、他のモデルと組み合わせることで、text-to-image や image-to-text といった生成タスクに拡張することが可能です。 Japanese Stable CLIP 「Japanese Stable CLIP」は、日本らしい画像や日本語に特化した画像言語特徴抽出モデルです。学習には、最新手法である SigLIP の手法を用いており、オープンソースになっている日本語対応CLIPモデルの中で、最も高いスコアを達成しています。
GitHub - hppRC/llm-lora-classification: LLMとLoRAを用いたテキスト分類
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - gpt-engineer-org/gpt-engineer: Specify what you want it to build, the AI asks for clarification, and then builds it.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Meta、テキストや旋律から音楽を生成するAI「MusicGen」をオープンソース化 Hugging Faceでお試し可能
米Metaは6月9日（現地時間）、音楽生成LMの「MusicGen」を発表した。ディープラーニングによる音声処理と生成のためのライブラリ「Audiocraft」の一部として、GitHubでオープンソース化した。商用利用も可能だ。 曲のイメージをテキストプロンプトで入力することで音楽を生成できる。オプションで、mp3形式のメロディデータを追加することも可能だ。 MusicGenは、米Googleが2017年に発表した深層学習モデル「Transformer」をベースにした音楽生成モデル。Googleが1月に発表した「MusicLM」のような従来の類似モデルとは異なり、自己教師型でセマンティック表現が不要だ。 MusicGenのトレーニングには、1万件の高品質な音楽トラックの内部データセットと、ShutterStockとPond5の音楽データを利用した。2万時間分のライセンス音楽を使ったとしてい
おれたちは生成AIに苦手なことをやらせがち〇〇について教えて系の質問は全部ダメ。堂々と嘘をつくのは勿論、回答が抽象的すぎて役に立たないことが露呈した。 この批判がまさにそうなのだが、どうもわれわれ日本人は「ChatGPTが一番苦手なこと（≒自分が知らないことを教えてもらう）にChatGPTを使おうとする」という傾向があるらしい。日本の経営者に聞いたChatGPTの使い道のアンケートでは、「仕事で調べものをする時に活用する」が39.3%でトップだ。これが米国の職場でのChatGPT利用法の調査だと、上から順に、 アイディアを出すコンテンツを作成するメールに返信するプログラムコードを書くレジュメやカバーレターを書くプレゼンテーションを作成する となっていて、情報検索や調べもののタスクは上位5位に入っていない。総じて米国の働き手は、ChatGPTを自分に情報をインプットするためのツールではなく、
GitHub - di-sukharev/opencommit: Auto-generate impressive commits with AI in 1 second 🤯🔫
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ChatGPTやBing Chatの背景にある大規模言語モデルの多くは、Googleが開発したニューラルネットワークアーキテクチャーの「Transformer」を採用しています。このTransformerの鍵になるのが「Self-Attention」というシステムです。このSelf-Attentionを視覚化するためのツール「Attention Viz」を、ハーバード大学とGoogleの共同研究チームが発表しました。 AttentionViz Docs https://catherinesyeh.github.io/attn-docs/ Transformerがどういう仕組みのアーキテクチャなのかについては、以下の記事を読むとよくわかります。 ChatGPTにも使われる機械学習モデル「Transformer」が自然な文章を生成する仕組みとは？ - GIGAZINE 自然言語処理をディープラ
GitHub - JushBJJ/Mr.-Ranedeer-AI-Tutor: A GPT-4 AI Tutor Prompt for customizable personalized learning experiences.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
チャットAI「ChatGPT」では、有料プラン「ChatGPT Plus」に加入することで2023年に発表された高性能言語モデル「GPT-4」によるチャット機能が利用可能となります。このGPT-4によるチャット機能をを無料で使えるようにするオープンソースプロジェクト「gpt4free」が、ChatGPTの開発元であるOpenAIによって削除要請を受けていることが明らかになりました。 GitHub - xtekky/gpt4free: decentralising the Ai Industry, just some language model api's... https://github.com/xtekky/gpt4free OpenAI Threatens Popular GitHub Project With Lawsuit Over API Use | Tom's Hardwa
Learn prompt engineering best practices for application development Discover new ways to use LLMs, including how to build your own custom chatbot In ChatGPT Prompt Engineering for Developers, you will learn how to use a large language model (LLM) to quickly build new and powerful applications. Using the OpenAI API, you’ll be able to quickly build capabilities that learn to innovate and create val
GitHub - NVIDIA/NeMo-Guardrails: NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based conversational systems.
LATEST RELEASE / DEVELOPMENT VERSION: The main branch tracks the latest released beta version: 0.8.2. For the latest development version, checkout the develop branch. DISCLAIMER: The beta release is undergoing active development and may be subject to changes and improvements, which could cause instability and unexpected behavior. We currently do not recommend deploying this beta version in a produ
MRKL（Multi-Round Knowledge Loop）システムの実現方法理解し、ChatGPTを自社のためにカスタマイズする方法とは(第一回:理論編)｜yoshiyuki saito
MRKL（Multi-Round Knowledge Loop）システムの実現方法理解し、ChatGPTを自社のためにカスタマイズする方法とは(第一回:理論編) 驚きとともにLangChainのプロジェクトを見つけ、チュートリアルでコードを打ち込んでみて大変驚いたのがMRKL（Multi-Round Knowledge Loop）システムの仕組みでした。こんな問いにChatGPTが答えることができます。 現在の日本の首相の年齢から現在のフランスの首相の年齢を引いたらいくつですか？ （答えは章末にあります） ChatGPTがビジネスで使いづらい点は、データが最新ではないところで、刻々と日々変化するデータには対応できないことでした。ビジネス的にChaptGPTのようなLLM(large language model)のモデルが更新されるのを１年待つなんてことは現実的ではないです。 またファイン
GitHub - danny-avila/LibreChat: Enhanced ChatGPT Clone: Features OpenAI, Assistants API, Azure, Groq, GPT-4 Vision, Mistral, Bing, Anthropic, OpenRouter, Google Gemini, AI model switching, message search, langchain, DALL-E-3, ChatGPT Plugins, OpenAI Funct
🖥️ UI matching ChatGPT, including Dark mode, Streaming, and latest updates 💬 Multimodal Chat: Upload and analyze images with Claude 3, GPT-4, and Gemini Vision 📸 Chat with Files using Custom Endpoints, OpenAI, Azure, Anthropic, & Google. 🗃️ Advanced Agents with Files, Code Interpreter, Tools, and API Actions 🔦 Available through the OpenAI Assistants API 🌤️ Non-OpenAI Agents in Active Develop
LlamaIndex のハイブリッド検索を試す｜npaka
「LlamaIndex」の「ハイブリッド検索」を試したので、まとめました。 1. ハイブリッド検索情報検索では、文書全体を対象にした「粗 (Sparse) な検索」と、特定のキーワードに焦点を当てた「密 (Dense) な検索」の2つの手法があります。粗な検索は広い範囲の情報をカバーすることができますが、必要な情報が見つけにくいことがあります。一方、密な検索は、キーワードに関連する情報を重点的に収集することができますが、情報が不十分であることがあります。 粗と密の「ハイブリッド」検索では、両方の手法を組み合わせることで、広範囲かつ重点的に検索を行うことができます。 2. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) 新規のColabのノートブックを開く。 (2) パッケージのインストール。 ハイブリッド検索には「Pinecone」が必要なので、「pin
GitHub - zilliztech/GPTCache: Semantic cache for LLMs. Fully integrated with LangChain and llama_index.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - reworkd/AgentGPT: 🤖 Assemble, configure, and deploy autonomous AI Agents in your browser.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
目次[非表示] 1.はじめに 2.AI関連の指針・原則・ガイドラインの動向 2.1.国内における分野横断の主なAI関連の指針・原則・ガイドライン 3.ChatGPTの業務利用に関する動向 3.1.ChatGPT等の業務利用を推進する企業様のニュース 3.2.ChatGPTの業務利用を制限・禁止する企業様のニュース 3.3.AIサービスの業務利用に関するガイドライン策定のニュース 4.ChatGPTのプライバシーポリシーと利用規約における留意点 4.1.情報漏えい 4.2.情報の正確性 4.3.参照 5.ChatGPT Web版の業務利用における情報セキュリティ上の留意点のまとめ 5.1.情報漏えい 5.2.情報の正確性 6.まとめ はじめに昨今、ChatGPTに関する話題に注目が集まるなか、「業務利用」について検討される企業様が増加しています。実際に、クラウドリスク評価「Assured（ア
こんにちは！逆瀬川 ( @gyakuse ) です！ 今日は最近作った議事録文字起こしアプリに話者分離機能をくっつけたものを作っていきたいと思います。 ChatGPT APIの使い方、Whisper APIの使い方、Hugging Face Spacesへのデプロイ方法等を知りたい場合は以下の記事をぜひ！ できたもの openai_keyにOpenAIのAPIキーを入れる メイン音声ファイルに会話音声 (wav, 25MB以内) を入れる 話者 (1) 参考音声ファイルに話者 (1) の参考音声 (wav) を入れる 話者 (1) の名前を入れる 話者 (2) 参考音声ファイルに話者 (1) の参考音声 (wav) を入れる 話者 (2) の名前を入れる 上記を行って送信ボタンを押すと処理が開始されます。なお、参考音声は10秒程度で大丈夫です。実装全体は以下で確認できます。 話者分離 (S
GitHub - lm-sys/FastChat: An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena.
| Demo | Discord | X | FastChat is an open platform for training, serving, and evaluating large language model based chatbots. FastChat powers Chatbot Arena (https://chat.lmsys.org/), serving over 10 million chat requests for 70+ LLMs. Chatbot Arena has collected over 500K human votes from side-by-side LLM battles to compile an online LLM Elo leaderboard. FastChat's core features include: The trai
Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Qualityby: The Vicuna Team, Mar 30, 2023 We introduce Vicuna-13B, an open-source chatbot trained by fine-tuning LLaMA on user-shared conversations collected from ShareGPT. Preliminary evaluation using GPT-4 as a judge shows Vicuna-13B achieves more than 90%* quality of OpenAI ChatGPT and Google Bard while outperforming other models
OpenAI Platform
Explore resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's developer platform.
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
AIが予想外の能力を開花させることを「創発(emergent)」と言います。生物学の世界で「創発」とは、大量の物体が1つになって機能する自己組織化や集団行動を意味しますが、人工知能研究の世界では「突然これまで不可能だと思われていたタスクをこなせるようになること」を意味します。昨今の大規模言語モデルを研究する専門家の間で、大規模言語モデルの創発が話題となっています。 Characterizing Emergent Phenomena in Large Language Models – Google AI Blog https://ai.googleblog.com/2022/11/characterizing-emergent-phenomena-in.html The Unpredictable Abilities Emerging From Large AI Models | Quan
Firefoxなどの開発で知られるMozillaが、オープンソースでのAIエコシステム構築を目指すスタートアップ「Mozilla.ai」の設立を発表しました。Mozillaからの投資額は3000万ドル(約39億円)に上る見込みです。 Mozilla.ai https://mozilla.ai/ Introducing Mozilla.ai: Investing in trustworthy AI https://blog.mozilla.org/en/mozilla/introducing-mozilla-ai-investing-in-trustworthy-ai/ AIに関する研究は長年にわたって続いてきましたが、2022年には「Stable Diffusion」「Midjourney」「DALL・E」などの画像生成AIやチャットAI「ChatGPT」、文字起こしAI「Whisper」
Adobe Firefly
GitHub - langflow-ai/langflow: ⛓️ Langflow is a dynamic graph where each node is an executable unit. Its modular and interactive design fosters rapid experimentation and prototyping, pushing hard on the limits of creativity.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
言語モデルのChatGPTや画像生成AIのDALL·Eを手がけるAI研究所のOpenAIは、AI技術の悪用を防ぎ社会に友好的な形で発展させることを目的に、サム・アルトマン氏やイーロン・マスク氏らが2015年に発足させた非営利組織です。そんなOpenAIの創始メンバーに名を連ねるイルヤ・サツキヴァー氏が、AIをオープンにするという設立当初の理念は誤りだったと、IT系ニュースサイト・The Vergeのインタビューの中で語りました。 OpenAI co-founder on company’s past approach to openly sharing research: ‘We were wrong’ - The Verge https://www.theverge.com/2023/3/15/23640180/openai-gpt-4-launch-closed-research-il
Stanford CRFM
Alpaca: A Strong, Replicable Instruction-Following Model Authors: Rohan Taori* and Ishaan Gulrajani* and Tianyi Zhang* and Yann Dubois* and Xuechen Li* and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto We introduce Alpaca 7B, a model fine-tuned from the LLaMA 7B model on 52K instruction-following demonstrations. On our preliminary evaluation of single-turn instruction following, Alpac
GitHub - w-okada/voice-changer: リアルタイムボイスチェンジャー Realtime Voice Changer
v.1.5.3.18a Bugfix: FCPE v.1.5.3.18 (removed.) New Feature: FCPE Easy-VC (experimental) v.1.5.3.17b bugfix: clear setting improve file sanitizer chage: default input chunk size: 192. decided by this chart.(https://rentry.co/VoiceChangerGuide#gpu-chart-for-known-working-chunkextra) v.1.5.3.17a Bug Fixes: Server mode error RVC Model merger Misc Add RVC Sample Chihaya-Jinja (https://chihaya369.booth.
GitHub - ggerganov/llama.cpp: LLM inference in C/C++
The main goal of llama.cpp is to enable LLM inference with minimal setup and state-of-the-art performance on a wide variety of hardware - locally and in the cloud. Plain C/C++ implementation without any dependencies Apple silicon is a first-class citizen - optimized via ARM NEON, Accelerate and Metal frameworks AVX, AVX2 and AVX512 support for x86 architectures 1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit,
by Focal Foto OpenAIの対話型AIであるChatGPTは、大規模言語モデルのGPT-3.5の派生系をベースにしており、まるで人間が書いたような自然な文章で対話することが可能です。ChatGPTのどういう点が画期的なのかについて、ジョン・ストークス氏が説明しています。 ChatGPT Explained: A Normie's Guide To How It Works https://www.jonstokes.com/p/chatgpt-explained-a-guide-for-normies 処理プロセスには、特定の入力が与えられると常に同じ出力を生成する「決定論」と、特定の入力が与えられると出力が確率によって変化する「確率論」の2つがあります。ストークス氏によると、ChatGPTの画期的な部分は、これまで決定論的な処理をしていた部分もすべて確率論的な処理をしている
Realistic voice calls for Characters, PDFs & more! Check out CallStar.ai, CallPDF.ai, CallTube.ai.
GitHub - BlinkDL/RWKV-LM: RWKV is an RNN with transformer-level LLM performance. It can be directly trained like a GPT (parallelizable). So it's combining the best of RNN and transformer - great performance, fast inference, saves VRAM, fast training, "inf
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
openai-cookbook/examples/Question_answering_using_embeddings.ipynb at main · openai/openai-cookbook
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
以前、画像生成AIを使ったイラストの模倣、「AIトレパク」が問題になっているという話をしましたが、画像生成AIと著作権の問題は国際的にも複雑化しています。まだ、現時点ではどうなるのかがはっきりしない混沌とした状況が進み続けています。しかし、現時点で大きなボトルネックになっているのは、計算をするGPUのチップ性能であるため、長い目で見たときには、今後必ず起きると予測できるのは、画像生成AIがリアルタイムに使われるようになり、それで生み出されるコンテンツが登場する未来です。 画像生成AIが集団訴訟を起こされる アメリカで、1月に画像生成AIを開発し、サービスを展開しているStablity AIやMidjourneyなどを相手取って集団訴訟が提起されました（米The Vergeの記事）。著作権侵害を理由に、損害賠償と利用差し止めを求めています。プレスリリースでは「LAION-5Bデータセットに含
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT開発の悩みの種「速度」「精度」「評価」の壁をどう超えるか
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密
カラクリ、700億パラメーターLLM「KARAKURI LM」を一般公開 | KARAKURI
GoogleのチャットボットAI「Bard」がついにベンチマークスコアでGPT-4を上回って第2位に浮上
日本人が生成AIに苦手なことをやらせるのはアトムのせい
ChatGPTなどの対話型AIの基礎となっている「Attention」を可視化した「Attention Viz」
有料の「GPT-4」を無料で使えるようにした「gpt4free」がOpenAIから「削除しないと訴える」と脅迫される
ChatGPT Prompt Engineering for Developers
セキュリティ担当者がChatGPTの業務利用方針を検討するうえでの留意点
Whisperで文字起こしをした議事録の発話者の名前を自動的に判定する！ - Qiita
Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | LMSYS Org
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z
GPT-4やPaLMなどの大規模言語モデルは規模が大きくなると突然予想外の能力を開花させることがある
Mozillaが「秘密にまみれた大企業のAI」を打破するべくオープンなAI開発企業「Mozilla.ai」を設立
OpenAIの共同設立者が「私たちは間違っていた」と語る、AIの危険性からデータをオープンにしない方針へと大転換
人間並みの精度で会話が可能な対話型AI「ChatGPT」は何が画期的なのか？
ChatPDF - Chat with any PDF!
AIの著作権問題が複雑化 (1/4)
【やじうまPC Watch】 Bing AI検索の秘匿情報がプロンプトインジェクション攻撃で発覚
