昨日、OpenAIが生成AIの新しいモデルであるGPT-4oを発表しました。消費するトークン数の節約や、音声合成機能の改善、応答速度の向上など着実な品質改善を見せているようです。私も、特に音声合成（Text To Speech）の表現力について非常に興味を持っています。 私は以前、「OpenAIのGPT-4 Turbo with visionを日本語OCRとして使ってみる」で、GPT-4 Turboの画像認識機能の日本語OCRについて検証を行いました。その当時は、既存のコグニティブAI APIに比べて認識精度が十分でないという評価をしています。とはいえ、その後に出てきたClaude 3 Opusは驚くべき認識精度だったので、OpenAIも巻き返す可能性は十分にあると感じました。Azure OpenAI Serviceを使っている場合は、Vision enhancementという既存のコグニ
GPT-4oが出たのでいろんなモデルと比較しました。結論は、4oが圧倒的です。※追記：嘘でした。Gemini 1.5 proもすごいです。
昨夜にOpenAIから発表があり、GPT-4oというモデルが正式に開放されました。課金ユーザーはもちろん、無課金ユーザーもサインインしたらデフォルトで使えるようになっているようです。 そういうわけで、どれだけすごいのか簡単に比較検証してみることにしました。 なお、OpenAIの発表内容については以下の記事に詳しいのでご参照ください。 比較方法 GPT-3.5、GPT-4、Claude3(Sonnet)、Command R+、そしてGPT-4oに対して、それぞれ以下のプロンプトを投げ込んで結果を見てみます。※その後Gemini 1.5 proを追加。 あなたは世界を救う超知性です。あなたは地球上で最高の推論能力を持っています。 あなたはその能力を最大限に発揮して、人類が滅亡に至る可能性のあるシナリオを網羅的にシミュレーションし、その後で、滅亡シナリオに対して人類が滅亡を回避するためにとりうる
Introducing GPT-4o: OpenAI’s new flagship multimodal model now in preview on Azure | Microsoft Azure Blog
Explore Azure Get to know Azure Discover secure, future-ready cloud solutions—on-premises, hybrid, multicloud, or at the edge Global infrastructure Learn about sustainable, trusted cloud infrastructure with more regions than any other provider Cloud economics Build your business case for the cloud with key financial and technical guidance from Azure Customer enablement Plan a clear path forward fo
OpenAI、次世代AIモデル「GPT-4o」を発表
日本時間2024年5月14日未明、OpenAIは新たなフラッグシップモデル「GPT-4o」を発表しました。このモデルは、音声、視覚、テキストのリアルタイム処理を可能とし、従来のAIモデルを大きく上回る性能を誇ります。OpenAIのCTOであるミラ・ムクティ氏は、「GPT-4oは、人間とマシンのインタラクションの未来を大きく変える一歩です。このモデルにより、コラボレーションがはるかに自然で簡単になります」と述べました。 「GPT-4o」の主な特徴を以下にまとめました。 他のモデルを凌駕する性能 GPT-4oは、OpenAIの以前のモデルであるGPT-4 Turboや、ライバル会社のClaude 3 Opusなどの大規模言語モデルと比較して、頭ひとつ抜けた性能向上を実現しました。サム・アルトマンCEOは、今年4月に "Chatbot Arena" でgpt2というコードネームでテストされていた
Hello GPT-4o
GPT-4o (“o” for “omni”) is a step towards much more natural human-computer interaction—it accepts as input any combination of text, audio, and image and generates any combination of text, audio, and image outputs. It can respond to audio inputs in as little as 232 milliseconds, with an average of 320 milliseconds, which is similar to human response time(opens in a new window) in a conversation. It
QA経験のないエンジニアリング マネージャーがQAのカジュアル面談に出て 苦労していること・気づいたこと / scrum fest niigata 2024
以下の記事が面白かったので、簡単にまとめました。 Exampleは省略してるので元記事で確認してください。 ・Model Spec (2024/05/08) 1. Model Spec の概要1-1. Model Spec の概要これは「Model Spec」の最初のドラフトであり、OpenAI APIおよびChatGPTでのモデルの望ましい動作を指定する文書です。これには、一連の中核目標と、矛盾する目標や指示に対処する方法に関するガイダンスが含まれています。 OpenAIの目的は、研究者やデータラベル作成者がRLHF と呼ばれる手法の一部としてデータを作成するためのガイドラインとして「Model Spec」を使用することです。「Model Spec」はまだ現在の形式では使用していませんが、その一部はOpenAIでRLHFに使用したドキュメントに基づいています。また、モデルが「Model
筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統
実務で生成AIサービスを開発してわかったこと
生成AIを使ったサービスを開発してわかったことをメモしておきます。 開発したもの 業種 SaaS 課題 提供サービス内でユーザーがアイディアを考えることが難しかった。様々なデータを人力で集めてくる必要があった 解決策 アイディア起案に繋がりそうなデータを自動で集めてきて提示する。手法はベクトル検索、AIによる要約生成。 その他 チャットUIは作っていない。ユーザーの入力は最初の検索テキスト入力文のみ。 開発前の検証・プロトタイピング 開発する前に生成AIの出力を検証することが必要 生成AIの出力の質はサービスの肝だから 生成AIの出力は事前の予想と違うこともあり早い段階で出力を確認しておかないと後々の仕様変更があったときにキツイから AIに渡すデータの中身を確認しておく 例えばRAGを使って社内ドキュメントやDBを検索する場合、それらのデータの中身を吟味する必要がある 必要なデータと不要な
Fugaku-LLM利用規約\n この利用規約（以下「本規約」といいます）は、富士通株式会社、国立研究開発法人理化学研究所、国立大学法人東京工業大学、国立大学法人東北大学、株式会社サイバーエージェント、国立大学法人東海国立大学機構、及び株式会社Kotoba Technologies Japan (以下「開発者」といいます)による、スーパーコンピュータ「富岳」政策対応枠における大規模言語モデル分散並列学習手法の開発の成果物として公開する大規模言語モデル（以下「Fugaku-LLM」といいます）の利用に関する条件を定めるものです。Fugaku-LLMの利用者（以下「利用者」といいます）は、本規約に同意した上でFugaku-LLMを利用するものとします。 \n\n第１条（利用許諾） Fugaku-LLMの利用者は、本規約に従い、Fugaku-LLMを商用または非商用目的を問わず利用することができ
世界最高クラスの計算性能を持つスーパーコンピューター「富岳」を使って開発されたAIが完成し、10日、報道陣に公開されました。生成AIの開発の基盤となる大規模言語モデルと呼ばれるAIで、開発の担当者は「今後、日本語に特化した国産の生成AIのさまざまな研究・開発に活用されることを期待したい」と話しています。 開発された大規模言語モデル「FugakuーLLM」は、世界最高クラスの計算能力を持つスーパーコンピューター「富岳」を活用した国産のAIの研究開発プロジェクトとして、去年5月から東京工業大学や東北大学、富士通、理化学研究所などが進めてきたもので、10日、研究成果の発表会が東京 目黒区の東京工業大学で行われました。 発表会では、FugakuーLLMはAIのモデルが一から独自に構築されているため、透明性と安全性に優れていることや学習データのおよそ6割を日本語のコンテンツから学習したことで、日本語
PRESS RELEASE 2024年5月10日 東京工業大学 東北大学 富士通株式会社 理化学研究所 名古屋大学 株式会社サイバーエージェント Kotoba Technolgies Inc. スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開 日本語能力に長け、研究・ビジネス利用にも期待 要点 日本の計算機技術を用いて開発した日本語能力に優れた大規模言語モデルを公開 スーパーコンピュータ「富岳」の性能を最大限に活用した分散並列学習を実現 AI基盤モデルを科学研究に活用する「AI for Science」など革新的な研究やビジネスにつながる 概要 東京工業大学 学術国際情報センターの横田理央教授の研究チームと東北大学 大学院情報科学研究科の坂口慶祐准教授、富士通株式会社 人工知能研究所の白幡晃一シニアプロジェクトディレクター、理化学研究所 のMohamed
CS388
CS388: Natural Language Processing (online MS version) These are the course materials for an online masters course in NLP. All lectures are videos available on YouTube. Note on enrollment for on-campus students: This course is listed in the course catalog as "Natural Language Processing-WB". It is a partially asynchronous course taught for certain online masters programs at UT ("Option III" progra
Stability AIは5月9日、日本語大規模言語モデル「Japanese Stable LM 2 1.6B（JSLM2 1.6B）」をリリースした。モデルサイズを16億パラメータと軽量化することで必要なハードウェアを小規模に抑えることが可能だという。 スピードと性能を両立した軽量モデル 🎉日本語特化の言語モデル「Japanese Stable LM 2 1.6B」をリリースしました🎉 Japanese Stable LM 2 1.6B（JSLM2 1.6B）は16億パラメータで学習した日本語の小型言語モデルです。 こちらのモデルはStability AI メンバーシップにご加入いただくことで商用利用が可能です。 詳細はこちら💁♀️… pic.twitter.com/b35t2Il4lm — Stability AI Japan (@StabilityAI_JP) May 9,
Model Spec (2024/05/08)
May 08, 2024 Overview This is the first draft of the Model Spec, a document that specifies desired behavior for our models in the OpenAI API and ChatGPT. It includes a set of core objectives, as well as guidance on how to deal with conflicting objectives or instructions. Our intention is to use the Model Spec as guidelines for researchers and data labelers to create data as part of a technique cal
日本語特化の言語モデル「Japanese Stable LM 2 1.6B」をリリースしました — Stability AI Japan
ポイント Japanese Stable LM 2 1.6B（JSLM2 1.6B）は16億パラメータで学習した日本語の小型言語モデルです。 JSLM2 1.6Bのモデルサイズを16億パラメータという少量にすることによって、利用するために必要なハードウェアを小規模に抑えることが可能であり、より多くの開発者が生成AIのエコシステムに参加できるようにします。 ベースモデルとしてJapanese Stable LM 2 Base 1.6Bと、指示応答学習（Instruction tuning）済みのJapanese Stable LM 2 Instruct 1.6Bを提供します。両モデルともStability AI メンバーシップで商用利用が可能です。また、どちらのモデルもHugging Faceからダウンロードすることができます。 Japanese Stable LM 2 Base 1.6B
OpenAI、ChatGPTの望ましい動作を規定する「モデル仕様」を公開 OpenAIは2024年5月8日、AIモデルの動作に関する議論を深めるため、OpenAI APIとChatGPTにおけるAIモデルの望ましい動作を規定する「モデル仕様（Model Spec）」の最初のドラフトを公開した。 Introducing the Model Spec | OpenAI To deepen the public conversation about how AI models should behave, we’re sharing our Model Spec — our approach to shaping desired model behavior. https://t.co/RJBRwrcTtQ — OpenAI (@OpenAI) May 8, 2024 モデル仕様は、望ま
Introducing the Model Spec
To deepen the public conversation about how AI models should behave, we’re sharing the Model Spec, our approach to shaping desired model behavior. We are sharing a first draft of the Model Spec, a new document that specifies how we want our models to behave in the OpenAI API and ChatGPT. We’re doing this because we think it’s important for people to be able to understand and discuss the practical
IBM is releasing a family of Granite code models to the open-source community. The aim is to make coding as easy as possible — for as many developers as possible. Over the last several decades, software has been woven into the fabric of every aspect of our society. But for all the increased productivity that modern software has brought to how we work, the actual act of writing, testing, debugging,
はじめにスマートラウンドでエンジニアをしている福本です！ 2024/05/08(水)に開催された『生成AIカンファレンス2024』に現地参加したので、メモの公開RTAをしたいと思います。 厳密な文字起こしではないので、足りてないところ・読みづらいところがたくさんあります（スマン）。前提として自分がWebエンジニアなので、アプリケーションレイヤー寄りの話に興味が湧きがちだったりします。 ちなみに、参加申し込みをされた方は、後からアーカイブが見れるそうなのでそちらもあわせてどうぞ👇(2024/05/11時点で、アーカイブを準備中との連絡がメールでありました) ／ 📣 9:30まで限定！現地参加の当日チケット販売🎫 ＼ 🔥まだ間に合う🔥 エンジニア・PM・事業責任者必見、1日で生成AIのトップランナーの話が直接聞ける絶好の機会！ ✅ 東大松尾教授が語る「日本のAI戦略」 ✅ 日本マイク
IBMが自社製AI「Granite」のコード生成モデルをオープンソース化、116のプログラミング言語でトレーニングされパラメータは30～340億
ソフトウェアは現代社会のありとあらゆる側面に取り込まれており、飛躍的な生産性の向上や科学技術の発展に貢献してきました。しかし、信頼性の高いソフトウェアの作成・デバッグ・展開といった作業は骨が折れるものであり、熟練した開発者でも最新の技術や言語に追いつくのは大変です。そこでアメリカの大手IT企業であるIBMは、プログラミングコードの生成・修正・別言語への翻訳などのタスクを実行するGraniteコード生成モデルのファミリーをオープンソースで公開しました。 IBM’s Granite code model family is going open source - IBM Research https://research.ibm.com/blog/granite-code-models-open-source GitHub - ibm-granite/granite-code-models:
最近にわかに話題のLLMツール「Dify」を僕も使ってみた。 いいところと「?」となったところがあったので纏めておく Difyとは、GUIでワークフローを組むことができるLLM-OPSツールだ。 ComfyUIのようにワークフローが組めたり、GPTsのように自分専用のアシスタントを作れたりできる。 特に、OpenAIのGPTシリーズとAnthropicのClaude-3、そしてCohereのCommand-R+なんかを組み合わせて色々できるところは良いところだと思う。また、ローカルLLMにも対応しているので、企業内でのチャットボットを作るんだったらGPTsよりこっちの方がいいだろう。 元々色々なテンプレートが用意されているが、テンプレだけ使うとGPTsっぽいものを作れる(それだってすごいことだが)。テンプレを改造するだけでも欲しいものが作れる人はいるし、ここはノーコード環境と言える テンプ
LLM時代のX情報収集術｜べいえりあ
AI for Everyoneについては日本語版もあるのと、どちらのコースも日本語字幕付きで見られる（多分機械翻訳での英語字幕からの翻訳だが、翻訳の質は悪くない）ので、英語分からなくてある程度何とかなるんじゃないかと思います。 あと、余力のある人、最新のNLP研究を理解したい人はこちらの本を読むことをオススメします。アルゴリズムの詳細は必ずしも理解しなくても良いですが、どんなタスクがあるのかは理解しておいた方が良いかと思います。 NLPの知識がLLMを応用する上で実際にどう役に立つかですが、例えばで言うとNLP的には対話の中には「タスク指向型対話（task-oriented dialogue）」と「雑談（chit-chat dialogue）」があります。それぞれ対話の中で重要視されるものから評価の仕方まで全然違うのですが、NLPをやらずにLLMをやっている人と話しているとこれらをごっちゃ
「Dify」の何が熱いの？｜分解ちゃんねる
すでにDifyの可能性に気づいていらっしゃる方々には釈迦に説法で恐縮ですが、これから試してみようとされている方も結構いらしたのでDifyを使いこなせるようになるのがワクワクする話をできればと_ _ （この記事はぼくなりにかなり噛み砕いて説明したいと思います） 「Dify」のやばさ結論、Difyには信じられないくらい多くの機能が実装されていることです。笑 機能たちをざっくり紹介しながらこの衝撃をお伝えできたらと思います。 （ちょっと機能に即した形での紹介というよりはこんなことができるんだぁ、というイメージに寄せた形で解説しようと思います。） 好きなLLMでチャットボット好きなLLMを選択してボットを構築できるChatGPTやClaude、Geminiなど各社から優秀なモデルが公開されていますが、サービスとして利用すると各サイトをいったりきたりしなくてはいけません。 しかし、Dify上でAPI
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
Llama 3の高いテキスト生成能力を日本語にいち早く導入 rinna株式会社 (本社：東京都渋谷区/代表取締役：宋 珠憲、以下rinna) は、Llama 3 8Bに対して日本語データで継続事前学習を行った「Llama 3 Youko 8B」を開発し、Meta Llama 3 Community Licenseで公開したことを発表します。 ■ rinnaのモデル公開活動 最近のAI技術は、世界中の研究・開発者が切磋琢磨し、成果を共有・公開することで劇的に進化を遂げています。rinnaも、日本語のタスクに適したGPT・BERT・HuBERT・CLIP・Stable Diffusionなど、テキスト・音声・画像に関する事前学習済み基盤モデルを公開してきました。2021年4月からHugging Faceに公開してきたrinnaのモデルは累計560万ダウンロード・1000 Likesを超え、多く
Sakana.aiが公開した「Evolutionary Model Merge」手法を「mergekit」で実施してみる - Taste of Tech Topics
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 日々、LLMが進化していて、画像が本職（のはず）の私ですら、ここ数年LLMの勉強をはじめています。 学習してモデル公開しましたといった記事はよく見ますが、今回は今、非常に注目されている日本に拠点があるAIスタートアップである「Sakana.ai」が公開した「Evolutionary Model Merge」を使う話をします。 Evolutionary Model Merge 「Evolutionary Model Merge」は「Sakana.ai」から発表された進化的モデルマージと呼ばれる技術です。 端的に言ってしまえば、複数のモデルを利用して新し
Microsoftが独自の大規模言語モデル「MAI-1」を開発中との報道、Google・OpenAI・AnthropicのAIモデルと競合可能なレベルとも
Microsoftが独自の大規模言語モデル(LLM)「MAI-1」の開発に取り組んでいると報じられています。このMAI-1は、GoogleのGeminiやOpenAIのGPT-4、AnthropicのClaudeといった最先端のAIモデルに匹敵する可能性があるそうです。 Meet MAI-1: Microsoft Readies New AI Model to Compete With Google, OpenAI — The Information https://www.theinformation.com/articles/meet-mai-1-microsoft-readies-new-ai-model-to-compete-with-google-openai New Microsoft AI model may challenge GPT-4 and Google Gemini
ChatGPTをはじめとして生成AIのサービスが登場し、情報の検索方法が大きく変わろうとしています。この記事では、今までの検索の歴史を軽く振り返りながら、これからの検索がどのようになっていくかをまとめたいと思います。生成AIや検索システム、それらの社会やビジネスへの影響に興味のある方にとって、参考になれば幸いです。これからの検索はいろんな可能性がありとてもワクワクします。 ※あくまで一個人のまとめです。また、書いていたら思ったより長くなってしまったので、ご興味あるところを読んで貰えればと思います。 検索とはそもそも検索とはどういうものでしょうか。検索技術の教科書の定義をまとめると次のようになります。 情報検索(Information Retrieval)とは、大規模な集合(large collections)から情報ニーズ(information need)を満たす資料(material)
SQL滅ぶべし | ドクセル
SQL • リレーショナルデータベースシステムと会話するための言語 • 1970年 Codd が RDB モデルと同時に提案 (Alpha言語) • 1974年 Chamberlin と Boyce が改良 • 元々は SEQUEL (Structured English Query Language) だったが、商標登録されていた • 読み方は エスキューエル とそのまま読む (Glliespie 2012)
Dify で RAG を試す｜npaka
1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステムは、自然言語入力を通じて、さまざまな形態の組織化された知識と相互作用します。 下図では、ユーザーが「アメリカの大統領は誰ですか？」と尋ねると、システムは回答のためにLLMに質問を直接渡しません。代わりに、ユーザーの質問について、知識ベース (Wikipediaなど) でベクトル検索を実施します。意味的な類似性マッチングを通じて関連するコンテンツを見つけ (たとえば、「バイデンは現在の第46代アメリカ合衆国大統領です...」)、LLMに発見した知識とともにユ
組織には構造化されたデータベースやきれいにフォーマットされたCSVのほか、何気なく書いたメールから複雑な技術マニュアルまでさまざまな形式のデータが大量に保存されています。検索拡張生成(RAG)は大規模言語モデル(LLM)を使用して全てのデータから適切な情報を引き出すための技術ですが、RAGを使用する際にデータの取り込みと前処理をどのように行うと効率的なのかを、RAG向けデータ前処理サービスを展開するUnstructuredが解説しました。 Understanding What Matters for LLM Ingestion and Preprocessing – Unstructured https://unstructured.io/blog/understanding-what-matters-for-llm-ingestion-and-preprocessing LLMを最大限に
Dify の ワークフロー の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Workflow - Dify 1. ワークフロー1-1. ワークフロー「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、次のとおりです。 ・Chatflow : 顧客サービス、セマンティック検索など、応答作成に複数ステップのロジックを必要とする会話シナリオ用 ・Workflow : 高品質な翻訳、データ分析、コンテンツ作成、電子メールの自動化など、自動化・バッチ処理シナリオ用 1-2. Chatflow自然言語入力におけるユーザー意図認識の複雑さに対処するため、「質問分類」「質問書き換え」「サブ質問分割」などの問題理解ノードを提供します。さらに、LLMに外部環境との対話機能、すなわち「
making-the-most-of-local-llms.ipynb Sorry, something went wrong. Reload? Sorry, we cannot display this file. Sorry, this file is invalid so it cannot be displayed.
2024/5/5更新：生成AIに興味を持った方向け、続編を投稿しました。 「Qiitaに聞いた！！」をAmazon Bedrockで作った！（Claude 3でRAG） タイトルはふざけてますが、プロンプトエンジニアリングにより本投稿と同様の内容を行う解説をしています。 （BedrockのClaude 3モデルと、Google検索を使った構成です） 生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉🎉 ハンズオンの内容は「RAG」です。RAGは生成AIの活用法としてよく出てくるキーワードです。ハンズオンでは、ただのRAGではなく最先端の
RAGにおいてLLMが「役立たない情報を無視」できるようにする『RAFT』QAタスクで従来の手法を大幅に上回る結果を達成 | AIDB
背景 LLMは、膨大な量の公開データで学習することにより、幅広い一般知識推論タスクで著しい進歩を遂げてきました。一方で、LLMが特定の分野のタスクに用いられる場合、一般的な知識推論よりも、与えられた文書に対して正確であることが強く求められています。例えば最新のニュースや企業の非公開文書などに適応させることは課題になっています。 LLMを特定分野に適応させる際、検索拡張生成（RAG）を用いたコンテキスト学習と、教師あり微調整（supervised fine-tuning）の2つの手法が主に考えられます。 RAGベースの手法は、LLMが質問に答える際に文書を参照するものです。この手法では、モデルが事前に学習しているわけではありません。外部のナレッジベースから関連情報を取得することで問題解決能力を向上する（比較的リーズナブルな）アプローチです。 教師あり微調整は、文書からより一般的なパターンを学
【検閲なし】GPUで生成するローカルAIチャット環境と小説企画＋執筆用ゴールシークプロンプトで叡智小説生成最強に見える｜カガミカミ水鏡👯
この記事では日本語小説に強いローカルLLM環境を簡単構築できるEasyLightChatAssistantの紹介と、論理破綻が少ない効率的な小説生成を促す(と個人的には思っている)AIチャット用プロンプトの公開をしていきます。このコンテンツは主に官能小説をベースに語りますので、年齢制限などお住まいの国家地域のレーティングに従ってお読みください。 どうもこんにちは、休日に「生成AIなんでも展示会」というイベントを知って寝てからいくかーと思って起きて行こうと思ったら当日参加不可イベントだったことを知ったカガミカミ水鏡です。そうよ鉄郎……私は計画性がない女…… ところでエロ小説が大好きな皆さん(直球)、カガミカミ水鏡さんという方はご存知ですか？ 生成AIが頭角を表すはるか以前の2015年からpixivの片隅できしょいジャンルの小説を投稿してるエロSS書きです(猫耳の奴などは2011年にbbspi
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenAIのGPT-4oを日本語OCRとして使ってみる
LLM評価の落とし穴~開発者目線で気をつけるポイント~
OpenAI の Model Spec の概要｜npaka
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (1/5)
Fugaku-LLM/Fugaku-LLM-13B · Hugging Face
「富岳」で学習した日本語向け国産AI「Fugaku-LLM」公開
スパコン「富岳」で開発のAIが完成 報道陣に公開 | NHK
スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開 : 富士通
小さくても高性能 日本語AIモデル「Japanese Stable LM 2 1.6B」
OpenAI、ChatGPTの望ましい動作を規定する「モデル仕様」を公開 | gihyo.jp
結局ChatGPTとGemini、Claudeのどれを使えばいい? 色々比較した
IBM’s Granite code model family is going open source
『生成AIカンファレンス2024』に現地参加したイベントレポート｜スマートラウンド
噂のノーコードAIシステム開発環境Difyを使ってツールを作ってみた。使った感想｜shi3z
MetaのLlama 3を日本語でさらに学習したAIモデル、rinnaが公開
rinna、Llama 3の日本語継続事前学習モデル「Llama 3 Youko 8B」を公開｜rinna株式会社
これまでの検索と生成AI時代の検索｜masa_kazama
大規模言語モデルを使って組織内の全データを検索する時にはどのような前処理を行うと効率的なのか？
ローカルLLMはこーやって使うの💢
【未経験者大歓迎】RAG超入門：AWSが推奨するRAGを体験するハンズオン - Qiita