今のLLMを取り巻く状況について紹介します。
LLMの現在 - Speaker Deck
今のLLMを取り巻く状況について紹介します。
前置き 毎週金曜日夕方に行われる社内勉強会にて、先日生成AIについて発表しました。折角なので少し加筆修正した資料を公開します。進化のスピードが早く、一時期食傷気味に陥ってましたが改めて昨今の生成AI関連の基本となるインプットを目指しました。 ※資料内冒頭に記載してますが、AIの専門家ではないので認識や説明に誤りがある可能性があります。 当方も勉強中なので、「ここ違うよ」や「これの説明もあるといいんじゃない」など様々なコメント大歓迎です！ 資料 資料目次 AIの基本 機械学習について 深層学習について 機械学習の種類 教師あり学習の得意なこと 教師あり学習のイメージ 教師なし学習の得意なこと 教師なし学習のイメージ 強化学習の得意なこと 生成AIについて 生成AIとは 生成AIの位置付け 生成AI利用例 代表的なサービス例 日本における盛り上がり 生成AI市場規模 AGIとは AGIは近い？
Stable Diffusion Forgeを表示した様子。基本的な操作は既存のStable Diffusion WebUI AUTOMATIC1111とほぼ同じ 画像生成AI「Stable Diffusion」用の新しいユーザーインターフェース「Forge」が2月6日に登場しました。開発したのは、これまで「Controlnet」や「Fooocus」などStable Diffusion関連の様々な重要技術を開発してきたillyasviel（イリヤスベル）さん。何よりインパクトが大きいのは、グラフィックボードのVRAM容量が小さい安価なPCでも最新版のStable Diffusion XL（SDXL）が動かせることです。 RTX 40シリーズが求められたSDXL SDXLは、2023年8月にStablity AIが発表した画像生成AI。高画質な出力ができる一方、コミュニティーサイトで話題にな
Sora: Creating video from text
Sora Creating video from text Sora is an AI model that can create realistic and imaginative scenes from text instructions. Read technical report We’re teaching AI to understand and simulate the physical world in motion, with the goal of training models that help people solve problems that require real-world interaction. Introducing Sora, our text-to-video model. Sora can generate videos up to a mi
■ Claude 3に例の「読了目安2時間」記事を解説させてみた Anthropicの先日出たばかりのClaude 3（Opus）が、ChatGPTのGPT-4を超えてきたと聞いて、自分の原稿を解説させてみたところ、確かに革新的な進歩が見られる。もはや内容を「理解」しているようにしか見えない。GPT-4では、昨年11月に試した時には、そうは見えず、優れた文章読解補助ツールという感じでしかなかった。 一昨年のCafe JILIS「高木浩光さんに訊く、個人データ保護の真髄 ——いま解き明かされる半世紀の経緯と混乱」は、発表した当時、長すぎて読めないから誰か要約してという悲鳴があがっていた。その後、ChatGPTの登場で、その要約能力に期待されたが、冒頭のところしか要約してくれなかったり、薄い論点リストが出てくるだけで、その期待に応えられるものではなかった。 もっとも、GPT-4でも、質問力があ
【書評】『頭がいい人のChatGPT&CoPpilotの使い方』 の『プロンプト』事例集が秀逸！（神田敏晶） - エキスパート - Yahoo!ニュース
KNNポール神田です。 『頭がいい人のChatGPT＆CoPilotの使い方』橋本大也 著を読んだ。 これは、ChatGPTの使い方がよくわからなかった人への再入門するのにピッタリな書籍だと思う。 この書のとてもユニークな点を述べるとするならば、著者の橋本大也氏の、『ChatGPT』や『Copilot』に対する、使い勝手の良い方法が、具体的な『プロンプト』として数多くの事例を散りばめられている点に尽きる。 そして、それらが、事例を元に、仕事で必要な調べ物を『調査』させ、『考え』させ、『要約』させ、『分類・整理』させ、『シミュレーション』させることができることをステップバイステップで進めている。最終的に多岐にわたるプレゼンの場での『グラフ』や『ダイアグラム』『映像』による表現にまで網羅している。 ■この本の『プロンプト』を『写経』するだけで、ビジネスパーソンのAIニーズに対応なによりも、ビジ
2月29日に、文化庁で「文化審議会著作権分科会」の第7回が開催されました。著作権の専門家によってその制度について議論をする場ですが、今年度は2023年7月より「AIと著作権」について議論されてきました。3月に文化庁から政府に報告する「AIと著作権に関する考え方について（素案）」の最終案に近いものが発表され、1月下旬から2月上旬にかけて募った「パブリックコメント（パブコメ）」の結果報告もされるということもあり、注目されました。登場したのは「AIと著作権に関する考え方について（素案）令和6年2月29日時点版」、パブコメの結果を受けて、これまでの内容に微修正が施されていました。しかし、そこからわかったのは、文化庁の一貫したスタンスでした。 文化庁 文化審議会 著作権分科会 法制度小委員会（第7回） パブコメへの反応は「素案の内容周知」 発表物から議論を集めたのが発表資料に「パブコメの結果」が追加
以下のXを見て、早速「Create」を試してみたので、実際に使った所感をまとめます AIがリアルタイムでWebページを作ってくれる神サイト ㅤ 会話だけで、理想のUIを実現することが可能 ㅤ 使い方・活用法をツリーにまとめます！ ㅤ ブックマーク保存をおすすめします↓ pic.twitter.com/J1cJkUkyO8 — すぐる | ChatGPTガチ勢 𝕏 (@SuguruKun_ai) March 25, 2024 一言で言うとヤバいです... 詳細は以下のサイトでも解説しています Createとは Create 公式サイト Createは、1行のコードを書かなくても自然言語を使って、高度なAIを搭載したアプリやツールが作成できる生成AI搭載のノーコードツールです。 エンジニアでなくともChatGPT APIやStable Diffusion APIを組み込んだアプリが簡単に作れ
「GitHub Copilot 導入時に考えたセキュリティのあれこれ」というタイトルで登壇したのは、freee株式会社のただただし氏。タイミー社主催の「GitHub Copilotで拓く開発生産性」で、「GitHub Copilot 」を全社一斉導入する際に考えるべきセキュリティリスクについて発表しました。 freee株式会社 PSIRT マネージャーのただただし氏 ただただし氏：freee株式会社のただただしと申します。 今日は、「GitHub Copilot 導入時に考えたセキュリティのあれこれ」ということで、Copilotのセキュリティリスクについて語るわけですが、考えてみたら、GitHubの中の人を前にこんなことをしゃべるのは相当大胆な話だと思います。最後にいいことで締めるのでちょっと我慢してください。 自己紹介をいたします。ただただしと申します。PSIRTという組織でマネージャー
「ChatGPTはすぐに嘘をつくから調べものには使えない」という意見をよく聞くが、これには大きな誤解がある。 そもそもChatGPTの心臓部である大規模言語モデル（LLM）は、膨大な知識を元にテキストを「生成」する仕組みだ。 逆に言うと、知識として持っていないことは一切わからないので、知らないことについて説明を求められても能力的に不可能なのだ。 だから、知識にない質問をされると答えられないだけでなく、苦し紛れに幻覚（ハルシネーション）を起こしてしまう。これが「すぐに嘘をつく」と言われる理由だ。 結論を書いてしまうと「ChatGPTは検索ツールではない」のだ。むしろ「ChatGPTがいちばん苦手とすることが検索」なのだ。 今回はこの欠点を補い、AIを活用した新しい検索の形を実現するという触れ込みのサービス「Perplexity.ai」を紹介していく。 Perplexity.aiとは Perp
皆さんこんにちは。CTOの松本です。LLM使ってますか？ChatGPT毎日触ってますか？ LLMに熱狂してすでに1年以上が経ちましたが周辺エコシステムが充実してきたことでいろいろな取り組みがとても簡単に実現出来るようになったなーと感じています。 ということで今回はZapierを使った小ネタのご紹介です。 AI・LLM事業部の今 とその前に、AI・LLM事業部での取り組みから着想を得たものでして、AI・LLM事業部について簡単に紹介させてください。 LayerXの新規事業であるAI・LLM事業部では、バクラクでも取り組んできたビジネス文書の解析の延長としてLLMを活用して文書分析エンジンの開発を進めています。現在このエンジンを使ったエンタープライズ向けの新規プロダクト開発にいそしんでおります。とても楽しいですし、最近は様々なお客様からの引き合いも増えておりまして、事業成長に向けて満を持しての
Google Cloud、無料で生成AIを学べる教材「The Arcade」を公開。ゲーム感覚でポイントを稼ぎ、賞品も獲得可能
提供される教材を順に学んでいくことで、Google Cloudの生成AIツールであるVertex AIや Generative AI Studio を実際に体験できると説明されています。 教材はテキスト形式のチュートリアル The ArcadeのWebサイトを見る限り、シューティングゲームのような楽しい要素が含まれているのかなと思ったのですが、実際に試してみると、解説を読みつつ実際のツールを操作しながらチュートリアルをこなしていくテキスト形式の実践的な教材のようでした。 下記は実際の教材画面の一部です。 教材をこなしていくとポイントを獲得することができるので、これがゲーミフィケーションの要素となっているようです。また、ポイントを獲得すると賞品としてノベルティがもらえるとされています。 公開されている教材は下記のレベル1とレベル2の2つ。これから毎月教材が追加されていく予定です。 Level
筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。 Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それを主張するだけのモデルなど腐るほどある。だが、実際に触ってみると期待外れということが多かった。 ところがCommand-R+は、その性能は桁違いである。というか、もはや僕という人間如きがちょっと触ったくらいでは「GPT-4よりいいね」とか「ここら辺甘いね」とか判断がつかなくなってきてる。しか
テキスト生成AI『Claude』が提供する60以上の「プロンプト集」が使える！すぐに苦手な仕事を自動化せよ | ライフハッカー・ジャパン
「これ、マストだわ」モニター購入して気づいた、あったほうがいい周辺機器4選 #Amazon新生活セール
GPT-4登場以降に出てきたChatGPT/LLMに関する論文や技術の振り返り - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、GPT-4の登場から執筆日（2023年5月31日時点）までの2ヶ月間で登場した論文を振り返りながら、まとめて紹介していきます。 LLM/ChatGPTの動向 オープンソースLLM モデル オープンソースLLMの調整 Adapter、LoRA Instruction Tuning Human Feedback プロンプトエンジニアリング プロンプトエンジニアリングの課題①：プロンプトに大量の情報を入れられない プロンプトエンジニアリングの課題②：複雑なタス
生成 AI による検索体験 (SGE) のご紹介
Google は、20 年以上前に日本で Google 検索の提供を開始しました。それ以来、常により良い体験となるよう機能をアップデートしてきました。AI と機械学習の進歩により、Google の検索システムはこれまで以上に人間の言語を理解することができるようになりました。そして本日より、国内で Google 検索の新機能として生成 AI による検索体験 (SGE -Search Generative Experience) の日本語版の試験運用を開始します。 Search Labs に Google アカウントを登録することで、デスクトップの Chrome ブラウザと スマートフォンの Google アプリ（ Android および iOS ）でご利用いただけます。 生成 AI による検索の進化生成 AI の新たな技術進歩により、検索エンジンの更なる可能性を再考することができ、新しいタイ
2024/5/5更新：生成AIに興味を持った方向け、続編を投稿しました。 「Qiitaに聞いた！！」をAmazon Bedrockで作った！（Claude 3でRAG） タイトルはふざけてますが、プロンプトエンジニアリングにより本投稿と同様の内容を行う解説をしています。 （BedrockのClaude 3モデルと、Google検索を使った構成です） 生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉🎉 ハンズオンの内容は「RAG」です。RAGは生成AIの活用法としてよく出てくるキーワードです。ハンズオンでは、ただのRAGではなく最先端の
日本語画像言語モデル「Japanese InstructBLIP Alpha」をリリースしました — Stability AI Japan
Stability AIは日本語向け画像言語モデル「Japanese InstructBLIP Alpha」を一般公開しました。入力した画像に対して文字で説明を生成できる画像キャプション機能に加え、画像についての質問を文字で入力することで回答することもできます。 Japanese InstructBLIP Alpha「Japanese InstructBLIP Alpha」は、先日公開された日本語向け指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」を拡張した、画像を元にしたテキストが生成されるモデルです。 「Japanese InstructBLIP Alpha」は、高いパフォーマンスが報告されている画像言語モデルInstructBLIPのモデル構造を用いております。少ない日本語データセットで高性能なモデルを構築するために、モデルの一部を大規模な
日本電信電話（NTT）は3月25日、独自に開発した大規模言語モデル（LLM）「tsuzumi」の商用提供を企業向けに開始した。代表取締役社長を務める島田明氏は「2027年までに売上1000億円を目指す」と述べた。 tsuzumiは、NTTが2023年11月に発表した国産LLMだ。特徴の1つはモデルを大幅に軽量化した点で、パラメーター数は軽量版で70億と、OpenAIが提供する「GPT-3」の25分の1程度しかない。これによって、1つのGPUで動作し、大規模ハードウェア不要で事務所内でのオンプレミス利用にも対応する。 2つ目の特徴は「世界トップレベルの日本語処理能力」だ。パラメーターを軽量化したにも関わらず、GPT3.5と日本語性能で比較した場合の勝率は8割を超え、英語においても高い処理能力を達成しているという。さらに、マルチモーダルにも対応し、パワーポイントの図表読解や聴覚も備える。 3つ
また、Gemmaの事前トレーニング済みモデルでは、学習データから特定の個人情報やその他の機密データを除外していると安全性もアピール。開発者や研究者向けに、安全で責任あるAIアプリケーションを構築できるというツールキット「Responsible Generative AI Toolkit」も併せて公開している。 関連記事 Google、“現行最強”の生成AI発表 月2900円で利用可 チャットAIサービスはBard→Geminiに刷新 米Googleは2月8日（現地時間）、「現行最強」をうたう生成AI「Gemini Advanced」を発表した。すでにサービスを提供開始しており、月額2900円で利用可能。2カ月間の無料試用期間も用意する。 Google、「Gemini 1.5 Pro」限定リリース コンテキストウィンドウは100万トークン Googleは、生成AIの次世代モデル「Gemini
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleが人工知能（AI）に多額の投資を行ってきたことを考えれば、同社が先頃、独自の画像生成AIツール「ImageFX」を公開したのは、意外なことではない。ImageFXは、OpenAIの「DALL-E 3」や「Midjourney」「Image Creator from Microsoft Designer」といった多くの画像生成AIツールの強力なライバルになるはずだ。 ImageFXは、テキストから画像を生成するGoogleのテクノロジー「Imagen」の最新世代である「Imagen 2」を利用する。ImageFXで作成されるすべての画像には、DeepMindの「SynthID」が埋め込まれる。SynthIDは、肉眼では見えない
DuckDB GUI Client DB Pilot is a database GUI client for DuckDB and various other databases. Available for Mac, with Linux and Windows support coming soon. Working with SQL has never been easier - thanks to DB Pilot's integrated AI assistant.
自律型AIソフトウェアエンジニア「Devin」発表。課題から情報収集して環境構築・ビルド・デプロイまで | テクノエッジ TechnoEdge
ITジャーナリスト／Publickeyブロガー。IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。 AIスタートアップのCognitionは、自律型のAIソフトウェアエンジニア「Devin」を発表しました。 Devinは人間が課題を与えると、自律的に情報を参照し、コーディングやデバッグ、デプロイを行い、システム構築を実現するAIソフトウェアエンジニアだと説明されています。 Cognition AI CEOのScott Wu氏以下はデモ動画からのキャプチャです。 Devinは人間のソフトウェアエンジニアと同様に、自身のコンソール画面（右上）、コードエディタ（右下）、Webブラウザ（左下）を持っています（左上は人間とチャットでやり取りする領域）。 人間がプロンプトで何らかの課題を与えると、まず課題解決のためのプランを生成します。 今回、Dev
自動文字起こしサービスである、OpenAIの「Whisper API」とAWSの「Amazon Transcribe」の精度を比較してみた | DevelopersIO
自動文字起こしサービスである、OpenAIの「Whisper API」とAWSの「Amazon Transcribe」の精度を比較してみた はじめに 今回は、OpenAIのWhisper APIとAmazon Transcribeという2つの音声文字起こしサービスを試し、それぞれの精度を比較してみました。 Amazon Transcribeは、音声をテキストに変換する自動音声認識サービスです。 ストリーミングとバッチ処理のどちらでも文字起こしが可能です。 攻撃的な言葉を指定すると、Amazon Transcribeがそれらの言葉を文字起こしから自動的に削除する語彙フィルタリングなどの機能もあります。 Amazon Transcribeの詳細は、下記の記事をご参考ください。 OpenAIには音声をテキストに変換する「Whisper」という音声認識モデルがあり、WhisperをAPIの形で呼び
この記事で行なっていること 凄すぎて”ズキズキワクワク"が止まりません はじめに ついこの間、ChatGPTは2022年1月までの情報を学習した、というい発表がありましたが、さらに今回のアップデートで 画像解析機能(GPT-4V) が追加され、アップロードした画像を使った新たなタスクの実行が可能になってます。そして、それが凄すぎます 衝撃的な投稿 まずはこちらの衝撃的な投稿をご覧ください。 動画は自転車の画像と共に「サドルを下げる手助けをしてください」で始まります。 ChatGPTからレコメンドが返ってきますが、それに対して、質問者は追加で ポイントになりそうな部分を拡大してアップロード マニュアルと自分の持っているツールの写真もアップロード します。 その結果、その質問者は、サドルを下げることに成功！そんな内容です。 自分の環境で、画像解析機能(GPT-4V)を使えるのか？ さて、画像解
株式会社ANOBAKAは、直近の大規模言語モデル（LLM：Large Language Models）の開発競争の激化を受け、Generative AI領域で起業を考えている人への参考情報として「大規模言語モデル（LLM）カオスマップ」2023年度6月版を公開したと発表した。 大規模言語モデル（LLM：Large Language Models）とは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルだ。2022年11月に発表され大きな話題となったChatGPTも、2022年初頭にトレーニングした「GPT-3.5シリーズ」を対話向けにファインチューニングしたものであり、大規模言語モデルの応用例の一つだ。 米国同様、日本でも今後アプリケーションレイヤーのGenerative AIスタートアップが多数勃興することが予測されるという。アプリケーションレイヤーのGenerative
2 松本 和高 株式会社エクスプラザ リードエンジニア X: _mkazutaka Github: mkazutaka 18年にバックエンドエンジニアとしてメルカリに入社。その後、ミラ ティブ、フリーランスを得て株式会社エクスプラザに所属。フロント エンドからバックエンドまで幅広く開発しています。趣味で、FXの自 動売買Botを作成している 現在08/30に第一子が生まれ現在育休中 https://note.com/mkazutaka/n/n9f0e2c4dee96 CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 3 株式会社エクスプラザ （EXPLAZA, Inc.） 会社名 プロダクトの力で、豊かな暮らしをつくる ミッション 代表取締役CEO 高橋一生 代表者 2020年07月03日 設
アップルの研究チームは3月14日、画像とテキストを理解し処理する能力を持つマルチモーダル大規模言語モデル「MM1」を発表した。今のところ論文のみの公開で、一般公開の時期は明かされていない。 一部ベンチマークではGPT-4Vをも凌ぐ性能を発揮 複数（30億、70億、300億）のパラメータサイズを備えるMM1は、10億以上の画像および30兆語以上のテキスト、GitHubのコード例などの多様なデータセットを用い、教師なし学習と教師あり学習を組み合わせる独自の方法で学習され、多様なタスクに対して高い精度を示すという。 各種ベンチマークの結果によると、30億および70億パラメーターのモデルはそれぞれのモデルサイズにおいて過去最高を記録。特にVQAv2（画像理解）、TextVQA（画像内のテキスト情報）、ScienceQA（科学知識）、MMBench（マルチモーダル）、MathVista（数学）などの
グループ企業向け勉強会資料を公開します！ ハンズオンはこちら https://qiita.com/minorun365/items/24dfb0ea3afde6ed0a56 Anthropic来日イベントはこちら https://jawsug-ai.connpass.com/event/313318/
流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Transformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所からやってみたい人には、作ってわかる! 自然言語処理AI とにかくすぐに動かしたい人には、機械学習エンジニアのためのTransformers ビジネス的に何ができるのかを知りたい人はBERT入門 Vision Transformer入門 Vison Transformerになっていますが、Transformerの説明がとても詳しくお勧めです。実際に写経してパーツパーツで動かせるのはこの本だけ。Transformer一点突破な
国立研究開発法人情報通信研究機構（NICT（エヌアイシーティー）、理事長: 徳田 英幸）は、ユニバーサルコミュニケーション研究所データ駆動知能システム研究センターにおいて、独自に収集した350 GBの日本語Webテキストのみを用いて400億パラメータの生成系の大規模言語モデルを開発しました。今回の開発を通し、事前学習用テキストの整形、フィルタリング、大規模計算基盤を用いた事前学習等、生成系の大規模言語モデル開発における多くの知見を得ました。現在は、更に大規模な1,790億パラメータの生成系大規模言語モデル（OpenAI社のGPT-3と同等規模）の学習を実施中で、また、学習用テキストの大規模化にも取り組んでいます。今後、共同研究等を通して民間企業、国研、大学等と協力して、日本語の大規模言語モデルの研究開発や利活用に取り組む予定です。 NICTでは、これまでWebページを収集し、インターネット
ChatGPTを支えた高品質AI作成手法「RLHF」の中身はこんな感じ、面倒なデータ入力・整理はオープンソースでセルフホスト可能なプラットフォーム「Argilla」が便利
RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに
「いまが後継者誕生の瞬間かもしれない」──「GAFAM」が支配するテクノロジー業界についてそう語るのは、コロンビア大学ロースクールの教授ティム・ウーだ。 これまでも、グーグル、アップル、フェイスブック（現メタ）、アマゾン、マイクロソフトの頭文字をとって表現されてきたテック業界の主要メンバーたちは、Netflixを加えて「FAANG」になったり、最近ではテスラとエヌビディアの台頭で「MATANA」と呼ばれたりしてきた。 そんななか、米誌「アトランティック」が着目したのは、勢いを増す生成AIの分野で注目を集める「GOMA」だ。AIチャットボットとその類のものはまだ初期段階にあるとしながらも、「AIの世界では、すでにすべてがたった4社に集約されつつある。グーグル、オープンAI、マイクロソフト、アンソロピックである」と書く。 従業員数たった数百人のスタートアップ企業オープンAIは、2022年11月
Googleは対話型AI「Bard」のミスで時価総額1000億ドルが吹き飛ぶ、現実味を帯びる生成AI倒産 【生成AI事件簿】顧客からの問い合わせに誤回答、社内規則や契約書類で重大ミス、大切な場面で失敗して評判失墜など | JBpress (ジェイビープレス)
生成AIを活用する企業は増える一方だが、それとともに、AIの間違いによって損害を被る企業も増えている。 エア・カナダはチャットボットの誤回答で賠償金を支払うはめに。別の企業は生成AIが作成した解雇合意書に重要な項目が欠落していたため、高額な和解金を支払わなければならなくなった。 企業に求められるのは、生成AIは間違いを犯すという前提に基づいた準備や行動。AIが間違えているかどうか分からない領域では活用すべきではない。 （小林 啓倫：経営コンサルタント） チャットボットで損害を被ったエア・カナダ 企業内でのAI活用が加速している。社員や顧客と自然な言葉でやり取りできる生成AIが登場したことで、AIを応用できる業務が増え、具体的な成果も見えやすくなったためだ。 たとえば、カナダで1855年に設立され、現在では同国で最大の規模を誇るTD銀行（Toronto-Dominion Bank）は、コンタ
生成AIの可能性を広げる「ベクトルデータベース」への関心が急速に高まっている。ベクトルデータベースとは、生成AIが扱う非構造化データの格納・管理・照会で利用されるデータベースのこと。ここではベクトルデータベースの基本をわかりやすく解説するとともに、生成AIの普及において、どのような役割を果たすのか、注目される理由などと合わせて紹介しよう。 バークリー音大提携校で2年間ジャズ／音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日系通信社を経てLivit参画。興味分野は、メディアテクノロジーの進化と社会変化。2014〜15年頃テックメディアの立ち上げにあたり、ドローンの可能性を模索。ドローンレース・ドバイ世界大会に選手として出場。現在、音楽制作ソフト、3Dソフト、ゲームエンジンを活用し
OSSプロジェクト「Devika」登場 全自動でゲームもつくれる完全自律型AIエンジニア「Devin」超え目指す【技術紹介】
AIソフトウェアエンジニアを提供するオープンソースのプロジェクト「Devika」がGitHubで公開された。これはAIベンチャー「Cognition」が開発し2024年3月12日に公開した、ソフトウェア開発のための自律型AIエンジニア「Devin」をモデルに、オープンソース版の提供を目指すプロジェクトだ。 Devinは、従来の大規模言語モデル（LLM）やコーディング特化型モデルが実行可能。テキストからのコード生成やバグの特定などの作業支援だけではなく、ゲームなどのソフトウェア開発が全自動でできるとの特徴を持つ。 keyboard_arrow_down プロジェクト背景 keyboard_arrow_down プロジェクト内容 Devinは、独自のコマンドライン、コードエディター、ブラウザを持ち、APIドキュメントを参照しながら、開発プロジェクトを自律的に構築する。エラーが発生した場合は、デ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
社内勉強会で生成AIについて発表したので70ページの資料を公開する！ - Qiita
画像生成AI、安いPCでも高速に 衝撃の「Stable Diffusion WebUI Forge」 (1/4)
高木浩光＠自宅の日記 - Claude 3に例の「読了目安2時間」記事を解説させてみた
画像生成AIの著作権問題、文化庁議論で争点はっきり (1/4)
1行もコードを書かずに画像生成AIツール作ってみた - Qiita
「それは、本当に安全なんですか？」 セキュリティ専門家が「GitHub Copilot」の全社一斉導入時に考えたあれこれ
AI検索「Perplexity」がかなり便利だったので紹介します (1/5)
今日から始めるChatGPT+Zapierで雑パーソナライズ情報収集 - LayerX エンジニアブログ
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (1/5)
伝説のCPUアーキテクトJim Keller氏が示すAIの未来
Sakana AI
【未経験者大歓迎】RAG超入門：AWSが推奨するRAGを体験するハンズオン - Qiita
NTT、国産の生成AI「tsuzumi」サービス開始--「2027年に売上1000億円」と島田社長
Google、オープンな生成AIモデル「Gemma」公開 商用利用OK、Geminiと同じ技術の軽量LLM
グーグルの新たな画像生成AIツール「ImageFX」の使い方
DB Pilot - DuckDB GUI Client
Microsoft発のオープンソース版「UFO」登場！ Windowsを自動操縦するAIエージェントを試す【イニシャルB】
GPT-4V: 驚きを隠せない進化！凄すぎて"ズキズキワクワク"が止まりません！！！ - Qiita
「大規模言語モデル（LLM）カオスマップ」2023年度6月版が公開
社内情報検索システムで用いられるRAGの4つの実装方法
アップル、高度な言語理解を持つ新型AIモデル「MM1」を発表
今さら聞けない!? AWSの生成AIサービス Amazon Bedrock入門！
初心者が言語モデルを勉強するための本（2023年6月版） - ぱたへね
日本語に特化した大規模言語モデル（生成AI）を試作｜2023年｜NICT-情報通信研究機構
「GAFA」は「GOMA」に？ AIの未来を握る4社とは | 米誌が考える、テックの行き先
ベクトルデータベースとは何かを解説、生成AIで「必須の存在」はどんな役割を担うのか