スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開 日本語能力に長け、研究・ビジネス利用にも期待
要点 日本の計算機技術を用いて開発した日本語能力に優れた大規模言語モデルを公開 スーパーコンピュータ「富岳」の性能を最大限に活用した分散並列学習を実現 AI基盤モデルを科学研究に活用する「AI for Science」など革新的な研究やビジネスにつながる 概要 東京工業大学 学術国際情報センターの横田理央教授の研究チームと東北大学 大学院情報科学研究科の坂口慶祐准教授、富士通株式会社 人工知能研究所の白幡晃一シニアプロジェクトディレクター、理化学研究所 のMohamed Wahib（モハメド・ワヒブ）チームリーダー、名古屋大学 大学院工学研究科の西口浩司准教授、株式会社サイバーエージェント AI事業本部AI Labの佐々木翔大リサーチサイエンティスト、Kotoba Technologies Inc. の小島熙之CEOは、理化学研究所のスーパーコンピュータ「富岳」を用いて学習した日本語能力に
生成AI（人工知能）を含む最新のAI研究動向を知るため、世界中の研究者やエンジニアが参照しているのが、論文速報サイト「arXiv（アーカイブ）」である。米OpenAI（オープンAI）や米Google（グーグル）などAI開発を主導するIT企業の多くが、研究成果をarXivに競って投稿している。 そんなarXivの投稿論文から、2024年4月（1日～30日）にSNSのX（旧Twitter）で多く言及されたAI分野の注目論文を紹介する。調査には米Meltwater（メルトウォーター）のSNS分析ツールを利用した。対象はXの全世界のオリジナル投稿、コメント、再投稿、引用投稿である。調査は、日経BPが2024年1月に新設したAI・データラボの活動の一環として実施した。 「GPT2」に再び脚光？スケーリング則の論文 最初に取り上げるのが、大規模言語モデル（LLM）のスケーリング則に関する論文「Phys
暗黙の短歌のテーゼ
最近の短歌に関する増田の記事とそれへの反応で気がついたのは、多くの人は歌人が共有する短歌に関する暗黙の考え方を知らないということだ。 短歌詠みの間には短歌に関する決まりごとや規範が暗黙のうちに共有されており、それを念頭に置いて歌を詠んだり、鑑賞したりする。私はこれを「短歌のテーゼ」と勝手に呼んでいる。 あらかじめ言っておくと、このテーゼは必ず守らなくてはならないルールではない。むしろ現代短歌はどうやってテーゼに沿わずして魅力のある短歌を生み出すかを試行錯誤している節がある。 だが、どんな流派であっても優れた歌人はこのテーゼを意識し、従うか対抗するかのスタンスを明確にして歌を詠んでいる。そして、そのスタンスがある程度共通している歌人同士が同じ結社の中で作歌や鑑賞をすることで歌風を確立させて行くのである。 であるから、反例となる名歌はいくらでも挙げられるであろうが、反例があることはテーゼが存在
日本語大規模言語モデル「Japanese Stable LM 2 1.6B」をリリースしました — Stability AI Japan
ポイント Japanese Stable LM 2 1.6B（JSLM2 1.6B）は16億パラメータで学習した日本語の小型言語モデルです。 JSLM2 1.6Bのモデルサイズを16億パラメータという少量にすることによって、利用するために必要なハードウェアを小規模に抑えることが可能であり、より多くの開発者が生成AIのエコシステムに参加できるようにします。 ベースモデルとしてJapanese Stable LM 2 Base 1.6Bと、指示応答学習（Instruction tuning）済みのJapanese Stable LM 2 Instruct 1.6Bを提供します。両モデルともStability AI メンバーシップで商用利用が可能です。また、どちらのモデルもHugging Faceからダウンロードすることができます。 Japanese Stable LM 2 Base 1.6B
LayerX 部門執行役員・AI・LLM事業部長 中村龍矢 2024/5/8 生成AI Conf
サウジアラビアの政府系ファンドから資金提供を受け、半導体や人工知能（ＡＩ）テクノロジーに投資している新設ファンドのトップが、米国の要請があれば中国から撤退すると表明した。 投資会社アラットのアミット・ミダ最高経営責任者（ＣＥＯ）は「今のところ求められているのは製造とサプライチェーンを完全に分離することだが、もし中国との提携が米国にとって問題になるのであれば、われわれは手を引く」と述べた。 同社にはサウジのパブリック・インベストメント・ファンド（ＰＩＦ）が1000億ドル（約15兆5000億円）出資している。 米政府は国家安全保障上の問題を巡る一連の協議の一環として、半導体産業の発展を目指すサウジ当局に対し、中国と米国の技術のどちらかを選択する必要があると伝えたとブルームバーグが先に報じていた。
最近にわかに話題のLLMツール「Dify」を僕も使ってみた。 いいところと「?」となったところがあったので纏めておく Difyとは、GUIでワークフローを組むことができるLLM-OPSツールだ。 ComfyUIのようにワークフローが組めたり、GPTsのように自分専用のアシスタントを作れたりできる。 特に、OpenAIのGPTシリーズとAnthropicのClaude-3、そしてCohereのCommand-R+なんかを組み合わせて色々できるところは良いところだと思う。また、ローカルLLMにも対応しているので、企業内でのチャットボットを作るんだったらGPTsよりこっちの方がいいだろう。 元々色々なテンプレートが用意されているが、テンプレだけ使うとGPTsっぽいものを作れる(それだってすごいことだが)。テンプレを改造するだけでも欲しいものが作れる人はいるし、ここはノーコード環境と言える テンプ
LLM時代のX情報収集術｜べいえりあ
AI for Everyoneについては日本語版もあるのと、どちらのコースも日本語字幕付きで見られる（多分機械翻訳での英語字幕からの翻訳だが、翻訳の質は悪くない）ので、英語分からなくてある程度何とかなるんじゃないかと思います。 あと、余力のある人、最新のNLP研究を理解したい人はこちらの本を読むことをオススメします。アルゴリズムの詳細は必ずしも理解しなくても良いですが、どんなタスクがあるのかは理解しておいた方が良いかと思います。 NLPの知識がLLMを応用する上で実際にどう役に立つかですが、例えばで言うとNLP的には対話の中には「タスク指向型対話（task-oriented dialogue）」と「雑談（chit-chat dialogue）」があります。それぞれ対話の中で重要視されるものから評価の仕方まで全然違うのですが、NLPをやらずにLLMをやっている人と話しているとこれらをごっちゃ
「Amazon Q Business」正式リリース。MS365やS3などの社内の情報源と接続、会社の経営情報から有給休暇の残りまでチャットAIが答えてくれる
「Amazon Q Business」正式リリース。MS365やS3などの社内の情報源と接続、会社の経営情報から有給休暇の残りまでチャットAIが答えてくれる Amazon Web Servicesは、新たなAIサービス「Amazon Q Business」の正式リリースを発表しました。 Amazon Q Businessは企業向けのAIサービスで、Amazon S3やAmazon RDS、Amazon Auroraを始めとするAWSのサービスやMicrosoft 365、Salesforce、Dropbox、Google Drive、Gmailなどのさまざまな社内の情報源と接続可能です。 サードパーティのアプリケーションにAPI経由で接続するカスタムプラグインの構築が可能になります。これにより、ユーザーは自然言語のプロンプトを使用して、Amazon Q BusinessからAPIを通じてサ
「Dify」の何が熱いの？｜分解ちゃんねる
すでにDifyの可能性に気づいていらっしゃる方々には釈迦に説法で恐縮ですが、これから試してみようとされている方も結構いらしたのでDifyを使いこなせるようになるのがワクワクする話をできればと_ _ （この記事はぼくなりにかなり噛み砕いて説明したいと思います） 「Dify」のやばさ結論、Difyには信じられないくらい多くの機能が実装されていることです。笑 機能たちをざっくり紹介しながらこの衝撃をお伝えできたらと思います。 （ちょっと機能に即した形での紹介というよりはこんなことができるんだぁ、というイメージに寄せた形で解説しようと思います。） 好きなLLMでチャットボット好きなLLMを選択してボットを構築できるChatGPTやClaude、Geminiなど各社から優秀なモデルが公開されていますが、サービスとして利用すると各サイトをいったりきたりしなくてはいけません。 しかし、Dify上でAPI
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
Sakana.aiが公開した「Evolutionary Model Merge」手法を「mergekit」で実施してみる - Taste of Tech Topics
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 日々、LLMが進化していて、画像が本職（のはず）の私ですら、ここ数年LLMの勉強をはじめています。 学習してモデル公開しましたといった記事はよく見ますが、今回は今、非常に注目されている日本に拠点があるAIスタートアップである「Sakana.ai」が公開した「Evolutionary Model Merge」を使う話をします。 Evolutionary Model Merge 「Evolutionary Model Merge」は「Sakana.ai」から発表された進化的モデルマージと呼ばれる技術です。 端的に言ってしまえば、複数のモデルを利用して新し
LLMによるLLMの評価とその評価の評価について
LLMをプロダクトに活用していく上でプロンプトの出力結果を評価していかなければいけない訳ですが、可能な限り自動で定量評価できると改善もしていきやすくなり大変助かります。 そこで所謂LLM-as-a-Judgeと呼ばれるLLMに評価してもらう手法を取るわけですが、やはり「このスコアはどれくらい信じられるのか...?」という疑問が湧いてきて"評価の評価"がしたくなってきます。 というところで、本記事では使いそうなLLM-as-a-Judgeの手法について調べた後、"評価の評価"の仕方を調べてみた結果をまとめていきます。 LLM-as-a-Judgeの手法 まず初めに、LLM-as-a-Judgeにも様々な手法が存在するので、それらを確認していきます。 スコアベース 一番ベーシックなものはスコアをつけてもらうやり方です。 次のように実際のインプット、それに対するLLMの回答をプロンプトに加えて、
Difyって何？ 少し前から話題の、プログラミングなしで生成AIアプリケーションを開発できるOSSです。 「Dify すごい」 でSNSを検索すると、驚き屋さんがみんな驚いています。このゴールデンウィークはAmazon BedrockとDifyの話題でもちきりでしたね。 元々は「GPTビルダーのOSS版ね。はい解散」という感じだったのですが、最近追加された「ワークフロー」機能がすごく便利のようです。 ちょっとしたアプリなら、ローコードで簡単に作れてしまうとのこと。 最近は自分でPCやサーバー準備して動かさなくても、SaaS版が公式から準備されたようです。無料プランもあります。 やってみた サインアップ 公式サイト右上の「Get Started」からサインアップします。 GitHub連携すると、いきなり開発画面に辿り着きました！いいUX。 「（いち？）から作成」よりワークフローを作ってみまし
Dify で RAG を試す｜npaka
1. RAG「RAG」(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステムは、自然言語入力を通じて、さまざまな形態の組織化された知識と相互作用します。 下図では、ユーザーが「アメリカの大統領は誰ですか？」と尋ねると、システムは回答のためにLLMに質問を直接渡しません。代わりに、ユーザーの質問について、知識ベース (Wikipediaなど) でベクトル検索を実施します。意味的な類似性マッチングを通じて関連するコンテンツを見つけ (たとえば、「バイデンは現在の第46代アメリカ合衆国大統領です...」)、LLMに発見した知識とともにユ
AIの新星ニューラルネットワーク「KAN」とは？ LLMが“カンニング”して評価を盛ってた？ など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第45回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ 高精度なニューラルネットワーク・アーキテクチャ「KAN」をMITなどの研究者らが開発 1手先のトークン予測ではなく、4手先のトークンを同時に予測するモデルをMetaなどが開発 医療分野に特化したマルチモーダル大規模言語モデル「Med-Gemini」をGoogleが開発 大規模言語モデルが答えに相当するベンチマークを事前に学習し、高い評価を出していた？ AIカンニング問題を指摘した研究 一貫性の高い長編ビデオをテキストから生成するAIモデル「StoryDiffusion」 高精度なニューラ
最近、LLMにWeb Backendを書かせて遊ぶ、Hanabiというサービスを作っています。その開発過程で、前に試したLLMをAPIとして振る舞わせるアプローチを再検討したので、記事としてまとめました。 一年ちょっと前、私はChatGPTをWebフレームワークにしようと試みました...が、残念ながら全く実用的ではありませんでした。しかし、あれから一年、LLMは目覚ましい進歩で進化を遂げました。価格は下がり、速度も上がり、記憶容量の増加やRAGの発展など、もはや別物レベルで進化しています。 いまならもうちょっと実用的なヤツが作れるんじゃねってことで、色々な手法を面白がった再検討したまとめです。 余談ですが、一年前はLLM=ChatGPTという状況でしたね...懐かしい。ちょうどvicuna13Bが出た頃ですかね? ↓去年の記事(できれば読んでほしい)↓ 出来たもの 全部プロンプトに入れちゃ
Googleは2024年2月に、生成AIのGeminiが「人種的に多様なナチス」を生成したことを謝罪し、修正できるまで人物を生成できなくする一時措置を講じました。また、Geminiに限らずほとんどのチャットAIは、センシティブな話題を振ると回答を拒否します。このように、大手AI企業は微妙な問題に直面すると臭いものにフタをするようにそのテーマへの言及そのものを回避する傾向がありますが、そのような対応は言論の自由を害することになりかねないと、専門家が警鐘を鳴らしています。 Report: Freedom of Expression in Generative AI - A Snapshot of Content Policies - The Future of Free Speech https://futurefreespeech.org/report-freedom-of-expressi
GitHub - abi/secret-llama: Fully private LLM chatbot that runs entirely with a browser with no server needed. Supports Mistral and LLama 3.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ゴールデンウィークの連休に、新しいPCを一式組んでみようという人も多いのではないだろうか。厳しい円安が継続する中で、なかなかPCパーツを購入するタイミングが難しいが、思い立ったら吉日だ。 前回は予算30万円でゲーミングデスクトップPCを生成AIに聞いたが、今回は自作PCではやっているピラーレスケース（角に支柱がなく、内部システムを見ることができるケース）をベースにしたビジネスPCを組んでもらった。 →AIに予算30万円以下でゲーミングPCを組んでもらって分かったこと 手元にPCやスマホさえあれば、時間も場所も問わずいつでも回答してくれるエージェントに投げかけた質問は下記の通りだ。プロンプト（呪文）や問い合わせるタイミングなどによって回答は一定ではないので参考程度に見てほしい。 あなたはPCショップ専門店の店員です。 税込みの予算20万円以内で最新のビジネスPCを作ってください。 必ずピラー
こんにちは、にゃんたです。 今回は話題になっているDifyの基本的な使い方を解説してみました😆 めちゃくちゃ便利なので是非使ってみてください！ もっと詳しく知りたいとか要望があったらコメントしてください😊 ■LINE公式で限定コンテンツ配布中！ ▼登録はこちらから行えます▼ https://liff.line.me/2004040861-3Jvq4bAG 今ならキーワード「プレゼント」と入力すると ・ChatGPTのプロンプトまとめ ・Caludeのプロンプトまとめ ・Difyのまとめ を無料でお渡ししています！ ■チャプター 00:00 オープニング 02:16 Difyとは？ 10:00 Difyの使い方 ■Dify公式リンク https://dify.ai/ ■以前の関連動画 OpenAI最新のEmebddingモデルって何が凄いのか解説してみた https://you
Dify の ワークフロー の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Workflow - Dify 1. ワークフロー1-1. ワークフロー「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、次のとおりです。 ・Chatflow : 顧客サービス、セマンティック検索など、応答作成に複数ステップのロジックを必要とする会話シナリオ用 ・Workflow : 高品質な翻訳、データ分析、コンテンツ作成、電子メールの自動化など、自動化・バッチ処理シナリオ用 1-2. Chatflow自然言語入力におけるユーザー意図認識の複雑さに対処するため、「質問分類」「質問書き換え」「サブ質問分割」などの問題理解ノードを提供します。さらに、LLMに外部環境との対話機能、すなわち「
はじめに 今回始めて松尾研LLMコミュニティの初心者向け講座"Begginning LLM"の第一回に参加しました！ １～２ヶ月に１回ほど開催される連続講座のようでChatGPTで遊んだことあるけど本格的にLLMのこと知りたい！けど何からはじめていいのか分からないという人にぴったりの講座だと感じました。 この講座内容のすべては以下のYoutubeで公開されています。 今回のセミナーの中では松尾研所属のからあげさんが２つのユニットのセミナーを行っていました。 この記事ではからあげさんから学んだことを思ったままに書いていきます。 からあげさんはここがすごいぞ みなさんからあげさんのセミナーがとても気になって受講された方が多いんじゃないかな？と思いました。 もちろん、わたしも松尾研LLMでのからあげさんのご活躍が見たくて申し込みました！！！ 約100枚の圧倒的スライド数 まず、すごいボリュームの
making-the-most-of-local-llms.ipynb Sorry, something went wrong. Reload? Sorry, we cannot display this file. Sorry, this file is invalid so it cannot be displayed.
2024/5/5更新：生成AIに興味を持った方向け、続編を投稿しました。 「Qiitaに聞いた！！」をAmazon Bedrockで作った！（Claude 3でRAG） タイトルはふざけてますが、プロンプトエンジニアリングにより本投稿と同様の内容を行う解説をしています。 （BedrockのClaude 3モデルと、Google検索を使った構成です） 生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉🎉 ハンズオンの内容は「RAG」です。RAGは生成AIの活用法としてよく出てくるキーワードです。ハンズオンでは、ただのRAGではなく最先端の
専門性の高いデータの読み解きをLLMでスケールさせよう | CyberAgent Developers Blog
こんにちは．協業リテールメディアdivでデータサイエンティストをしています須ヶ﨑です．本日はLLMを用いて専門性の高いデータを読み解くというトピックをご紹介します． また，実際にオープンデータである気象データと，NYCタクシーデータを読み解く例をご紹介します． 専門性の高いデータの読み解きがスケールする嬉しさ 今回の記事での「専門性の高いデータ」とは，気象データや株価推移，POSデータ，時系列行動データ，車の運転データ，センサーデータなど，データ自体が直感的に理解しにくく，理解するためには一定の分析，及び，その読み解きを必要とするようなデータを指しています． さまざまなビジネスにおいて，色々な分野のデータが当たり前に集められるようになり，データの価値やその活用がとても重視されるようになってきています．これらのデータを基軸としたデータ分析によって、顧客のニーズを的確に把握し、効果的なマーケテ
はじめに おれの名前は樋口恭介。Phi-3というMicrosoftから2024年4月23日にリリースされた小規模LLMが、ギリCPUでも動くうえにGPT-3.5よりも精度が高いということで、触ってみることにした。 まずはGoogle Colab上でCPUを選択し、動きを確認したところ、通常モデルでも20分～30分程度で、かなり精度が高い回答が得られ、4bit量子化モデルだと、2分～3分程度で、それなりの出力が得られることがわかった。 そこで、気分がもりあがってきたので、自身のローカルPC（Windows11、GPUなし、メモリ16GB）でも動かしてみることにした。以下はそのときの試行錯誤のメモである（ほぼ趣味の領域の活動だが、業務時間中に行ったので、こうしてちゃんと会社のブログで手順をまとめているというわけだ）。 何も考えずにやるとけっこうハマりポイントが多かった気がするので、ぜひ参考にし
ラズパイでLLM 普通にローカル動きました。Raspberry Pi 5です。DockerでOllamaを動かしています。簡単にメモします。 ラズパイのセットアップ 以下でラズパイの基本的なセットアップをします。 Dockerをセットアップします。 Ollamaセットアップ 続いてOllamaをセットアップします。ラズパイでDockerを使えば、以下コマンドを実行するだけでOllamaをインストールできます。 $ docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
iOS・Android の ローカルLLMの実行環境をまとめました。 1. iOS1-1. Llama.cpp (gguf)「Llama.cpp」の「example/llama.swiftui」で、iOSでggufを実行するプロジェクトが提供されています。モデルはHuggingFaceの「TheBloke」「mmnga」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに限られます。 1-2. MLX「mlx-swift-examples」の「LLMEval」に、iOSでMLXを実行するプロジェクトが含まれています。モデルはHuggingFaceの「MLX Community」などで数多く提供されています。ただし、メモリ制限のため小サイズのモデルに限られます。 1-3. TensorFlow Lite (tflite)「MediaPipe」の「LLM Inference
【読売新聞】 瀬戸内海に面し、製造業や農業が盛んな香川県 三豊 （ みとよ ） 市。環境衛生課課長補佐の岡崎英司さん（５１）は昨年１１月、役所のパソコン画面を見て、嘆息した。 視線の先には、実証実験中の対話型ＡＩ（人工知能）サービス
【検閲なし】GPUで生成するローカルAIチャット環境と小説企画＋執筆用ゴールシークプロンプトで叡智小説生成最強に見える｜カガミカミ水鏡👯
この記事では日本語小説に強いローカルLLM環境を簡単構築できるEasyLightChatAssistantの紹介と、論理破綻が少ない効率的な小説生成を促す(と個人的には思っている)AIチャット用プロンプトの公開をしていきます。このコンテンツは主に官能小説をベースに語りますので、年齢制限などお住まいの国家地域のレーティングに従ってお読みください。 どうもこんにちは、休日に「生成AIなんでも展示会」というイベントを知って寝てからいくかーと思って起きて行こうと思ったら当日参加不可イベントだったことを知ったカガミカミ水鏡です。そうよ鉄郎……私は計画性がない女…… ところでエロ小説が大好きな皆さん(直球)、カガミカミ水鏡さんという方はご存知ですか？ 生成AIが頭角を表すはるか以前の2015年からpixivの片隅できしょいジャンルの小説を投稿してるエロSS書きです(猫耳の奴などは2011年にbbspi
ローカルLLMを手軽に楽しむ ローカルLLMを手軽に動かせる方法を知ったので紹介します。今まではLLMやPC環境（GPUの有無）に合わせてDocker環境を構築して動かしていました。 それが、OllamaとOpen WebUIというソフトを組み合わせることで、ChatGPTのように手軽にローカルでLLMを動かすことができます。参考にしたサイトなどは本記事の末尾で紹介します。特にもりしーさんの動画はきっかけになりました（感謝です）。 動かす方法として以下2つを紹介します。 Ollama単体で動かす方法（初心者向け） Ollama + Open WebUIでGUI付きで動かす方法（Dockerが分かる人向け） 初心者でとりあえずLLMを動かすのにチャレンジしたいという人は、1つ目のOllama単体で動かす方法にトライするのがおすすめです。 Dockerとか普段から使っているという人は、1をとば
この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの
本記事では、「Adaptive-RAG」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、Adaptive系で現在、最も「コスパ」が良いとされる「Adaptive-RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー RAGの回答精度を高めるための手法です。韓国科学技術院（KAIST）の研究者らによって2024年3月に提案されました。「Adaptive-RAG」という手法を使うメリットは、ユーザーからの入力としてシンプルな質問・複雑な質問、どちらも想定される場合に、「そこまで遅くなりすぎずに、ある程度の回答精度がでる」という点
ファミマ「生成AIで業務を50％削減」の事例も 企業が活用するためのポイントとは？（1/3 ページ） レノン株式会社 代表取締役 CEO 城北宣広株式会社（広告業）社外取締役 著書に「小売業DX成功と失敗」（同文館出版）などがある。 グローバル総合コンサルファームであるKPMGコンサルティングにて小売企業を担当するセクターのディレクターとして大手小売企業の制度改革、マーケティングシステム構築などDX領域のコンサルティングを多数経験。世界三大戦略コンサルファームとも言われている、ベイン・アンド・カンパニーにおいて2020年より小売業・消費財メーカー担当メンバーとして大手小売企業の戦略構築支援及びコロナ後の市場総括を手掛ける。2021年より上場会社インサイト（広告業）のCMO（Chief Marketing Officer）執行役員に就任。 2022年3月小売業と消費財メーカーの戦略とテクノロ
GitHub、「Copilot Workspace」テクニカルプレビューを開始。ほとんど全ての開発工程をAIで自動化
GitHub、「Copilot Workspace」テクニカルプレビューを開始。ほとんど全ての開発工程をAIで自動化 テクニカルプレビューは上記のCopilot Workspaceのページからウェイトリストボタンをクリックして申し込みます。 Copilot Workspaceはほとんど全ての工程を自動化 Copilot Workspaceは、自然言語で書かれたIssue（課題）を基に、Copilotが仕様案と実装計画を示し、コーディングや既存のコードの修正を行い、ビルドをしてエラーがあればデバッグも行うという、プログラミングのほとんど全ての工程をCopilotが自動的に実行してくれる、というものです。 人間は各工程でCopilotから示される内容を必要に応じて修正するか、そのまま見守ることになります。 GitHub CEOのThomas Dohmke（トーマス・ドムケ）氏は、Copilot
普通のローカル大規模言語モデル入門以前
この文章の目的 この文章はプログラマ以外の人にも読んで欲しいです。 ChatGPTや大規模言語モデルについて聞いたり使ったことはある ChatGPTの業務利用が出来るか検討したが、機密情報を扱う事やコスト面から断念した その後の大規模言語モデル界隈について、すごく驚く人や難しそうな事を言う人がいっぱい居て怖い みたいな状況にある人が、手元のPC内に完全無料でChatGPTのような物を作ること（これをローカル大規模言語モデル、と呼びます）について分かったつもりになったり、あるいはローカル大規模言語モデルについて興味が出てきたときにググるべき単語を知る事が出来るようになって欲しい、と思って書きました。 ざっと読み飛ばすなら10分程度で現状を知れるようにしつつ、プログラマ向けの記載は折り畳みにしているので必要な人は折り畳みも見て下さい。 なぜローカル大規模言語モデルなのか 以下ローカル大規模言語
「Weave」と「Elyza-tasks-100」で ローカルLLMの評価を試したので、まとめました。 1. Weave と Elyza-tasks-100「Weave」は、LLMアプリケーションの記録、実験、評価のためのツールです。「Weights & Biases」が提供する機能の1つになります。「評価関数」と「評価データセット」を用意するだけで、LLMの評価に必要な面倒な処理 (記録・集計など) をすべて肩代わりしてくれます。 「Elyza-tasks-100」はElyzaが提供する指示チューニングモデル用の評価用データセットです。問題固有の採点基準の情報も含まれています。 2. 評価データセットの準備評価データセットの準備手順は、次のとおりです。 (1) 「Elyza-tasks-100」から「test.csv」をダウンロード。 (2) 以下のプロンプトテンプレートを作成。 ・pr
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生成AI業界は「GPT2」で騒然、RAGは実用化へ新手法が続々
「知的単純作業」を自動化する、地に足の着いた大規模言語モデル (LLM) の活用
米国の要請あれば中国から撤退、サウジＡＩファンドのトップが表明
噂のノーコードAIシステム開発環境Difyを使ってツールを作ってみた。使った感想｜shi3z
MetaのLlama 3を日本語でさらに学習したAIモデル、rinnaが公開
話題のローコードツール「Dify」で生成AIアプリを作ってみよう！ - Qiita
LLMをWebフレームワークにしたら、未来が見えた #2024
AIに「物議を醸す話題」を拒否させるのは言論の自由に悪影響と専門家が警鐘
AIに予算20万円以下でピラーレスケースのビジネスPCを組んでもらって分かったこと
OpenAIのGPTsより凄い！無料で使えるDifyを徹底解説してみた
からあげさんってすごいなあポエム(松尾研LLMコミュニティ初心者セミナー)
ローカルLLMはこーやって使うの💢
【未経験者大歓迎】RAG超入門：AWSが推奨するRAGを体験するハンズオン - Qiita
ローカルLLM"Phi-3"をWindows CPUで動かす
GeForce RTX搭載PCで動くローカルAI「ChatRTX」刷新。画像認識や音声入力に対応
Raspberry Pi（ラズパイ）のローカル環境でLLMを動かす
iOS・Android の ローカルLLM実行環境まとめ｜npaka
ゴミ出しの問い合わせにＡＩが架空の部署案内、正答率は目標に届かず「市民向けには時期尚早」
Ollama + Open WebUI でローカルLLMを手軽に楽しむ
Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita
RAGに質問分類させる「Adaptive-RAG」の解説
ファミマ「生成AIで業務を50％削減」の事例も 企業が活用するためのポイントとは？
Weave と Elyza-tasks-100 で ローカルLLMを評価する｜npaka