最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
【SDXL Turbo】最強のリアルタイム画像生成AI！使い方や導入方法、機能比較まで | WEEL
SDXL Turboは、2023年11月29日にStability AIより公開された最新のリアルタイムテキスト画像生成モデルです。 このモデルは、新しい蒸留技術によって画像生成に必要なステップ数を50ステップからなんと1ステップに削減することで、超高速で画像生成が可能になり、文字を入力した瞬間に画像を生成できるようになりました。 実際に動作している様子です。 Introducing SDXL Turbo: A real-time text-to-image generation model. SDXL Turbo achieves state-of-the-art performance with a new distillation technology, enabling single-step image generation with unprecedented quality,
【OpenELM】iPhone・iPadでも動作できるApple最新小型オープンLLM | WEEL
WEELメディア事業部LLMライターのゆうやです。 2024年4月24日、ついにあのAppleからオープンソースLLMである「OpenELM」が登場しました！ Appleが「OpenELM」なるAIモデルファミリーをオープンソースでリリース！ ネットに接続なしで、完全にデバイス上で動く前提でを重視して作ったとのこと。 これはスマホ上で動く大本命LLMになる可能性大！ pic.twitter.com/N25jNwQzq5 — とーます｜AIX人材育成｜AIコーチ開発｜可能性開花をAIX (@Xroid_Lab) April 24, 2024 このモデルは、4つの異なるサイズ（270M、450M、1.1B、3B）で公開され、軽量で実行コストが低いためAppleデバイスでも動作します。また、「layer-wise scaling戦略」を使用し、効率的にパラメータを活用することで他の同規模モデルよ
3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning
ThanksSpecial thanks to those below for supporting the original video behind this post, and to current patrons for funding ongoing projects. If you find these lessons valuable, consider joining. .chanceA ZookAaron BinnsAda CohenAdam CedroneAdam Dřínekaeroeng15Alan SteinAlbin EgasseAlex Alex HackmanAlexandru IrimieaAlexis OlsonAli YahyaAljoscha SchulzeAlon AmitAlvin KhaledAman KarunakaranAndrea Di
【業務効率革命】GAS Interpreter の衝撃｜ChatGPT研究所
今までで最もインパクトのあるGPTsが完成しました。 その名も、「GAS Interpreter」です。 このGPTは名前の通り、Code Interpreter のように Google Apps Script コードを生成し、その実行までを行います。 他者に使ってもらうものではなく、自分専用のプライベートGPTです。 人によっては、Code Interpreter よりも便利です。なぜかというと、インターネットアクセスができることに加えて、GAS の便利で豊富なライブラリやリソースが活用できるためです。 例を示します。 GAS Interpreter の可能性以下に示す、いくつかの業務フローの実例をGAS Interpreterで行い、業務活用への可能性を示します。 今日の予定を聞きます今日の予定を教えて下さい 正確に今日の予定を教えてくれました。 会議参加者の相手に連絡したいので、その
【Stable Diffusion WebUI Forge】省エネ・高速・高解像度の画像生成モデルを使ってみた | WEEL
WEELメディア事業部LLMリサーチャーの中田です。 2月7日、Stable Diffusionの新webUI「Stable Diffusion WebUI Forge」が公開されました。このモデルを使うことで、省エネかつ高速な画像生成が可能になるんです、、、！ Stable Diffusion WebUI Forgeに関するXの投稿のいいね数は、すでに1100を超えており、国内だけでもかなり注目されていることが分かります。 Controlnetのlllyasviel氏がStableDiffusion用の新webUI「forge」を公開。8GB程度のVRAMなら約30～45%の高速化が見込め、out of memoryを起こさずに約2~3倍の解像度で生成できるようになるとしています。 A1111版webUIを100%使用しており、基本UIは変わらない模様（▼）https://t.co/mk
【Ferret-UI】Appleが開発したスマホ専用のマルチモーダルAI | WEEL
WEELメディア事業部LLMリサーチャーの中田です。 4月9日、スマホのUI（画面）を理解するのに特化したマルチモーダル大規模言語モデル(MLLM)である「Ferret-UI」を、Appleが公開しました。 従来のマルチモーダルモデルと違って、スマホ画面の内容を理解し、スマホ操作のための適切な指示を出せるんです！ Ferret-UI関連の、Xでの投稿のいいね数は、すでに2000を超えており、かなりバズっていることが分かります。 Apple presents Ferret-UI Grounded Mobile UI Understanding with Multimodal LLMs Recent advancements in multimodal large language models (MLLMs) have been noteworthy, yet, these general-
【Udio】無料で1200曲作れる音楽生成AI「Udio」の使い方を解説 | WEEL
WEELメディア事業部LLMリサーチャーの中田です。 4月10日、音楽生成AIの「Udio」がパブリックベータ版として一般公開されました。 以前から「Suno AIの対抗馬」として注目を集めており、高品質な音楽生成が可能だと話題なんです！ Udioで1曲フルで作ってみました↓！ 正直かなり高品質で、音楽として成り立っていますね。 Introducing Udio, an app for music creation and sharing that allows you to generate amazing music in your favorite styles with intuitive and powerful text-prompting. 1/11 pic.twitter.com/al5uYAsU5k — udio (@udiomusic) April 10, 2024 公
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。 Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それを主張するだけのモデルなど腐るほどある。だが、実際に触ってみると期待外れということが多かった。 ところがCommand-R+は、その性能は桁違いである。というか、もはや僕という人間如きがちょっと触ったくらいでは「GPT-4よりいいね」とか「ここら辺甘いね」とか判断がつかなくなってきてる。しか
ChatGPT AIとペアプログラミング
OpenCVを使用して画像から複数のオブジェクトを認識し、切り出すための一般的な手順は以下のようになります： 前処理: 画像を読み込みます。必要に応じて画像をリサイズします。グレースケールに変換するか、あるいは必要に応じて色空間を変更します。オブジェクトの検出: エッジ検出、閾値処理、または色に基づくフィルタリングなどを使用してオブジェクトを検出します。輪郭検出を行い、オブジェクトの境界を見つけます。輪郭の処理: 検出された輪郭をフィルタリングして、ノイズや小さなオブジェクトを除去します。必要に応じて輪郭を近似します。オブジェクトの切り出し: 各オブジェクトの境界ボックスを使用して画像からオブジェクトを切り出します。オブジェクトごとに個別の画像として保存するか、表示します。後処理 (オプション): 切り出されたオブジェクトをさらに処理するためのステップを行います。例えば、オブジェクトのサイ
LLMアプリ開発を体系的に学ぶには最適の入門書「ChatGPT/LangChainによるチャットシステム構築［実践］入門」 | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です！ ChatGPTから始まった第四次AIブームは、まだまだとどまる事を知らないですね。 さらにAzure OpenAI ServiceやAmazon Bedrock等の生成AIサービスが主要クラウド上で出揃った事で、エンタープライズ業界でも徐々にLarge Language Models(以下LLM)を用いたシステム開発の需要が高まってきています。 しかし普段はAWSインフラ関連の業務を専門とする私を含め、LLMアプリ開発初心者のエンジニアにとって、生成AIを活かして一からシステムを開発するのは、まだまだハードルが高いように感じられます。 特に以下のような点で、まだ理解が追いついていないと感じているエンジニアの方が多いのではないでしょうか？ LLMを使うと何ができるのか？ ChatGPTのAPIを触ってみたいが、どのように使えばいいの
“LLM for SRE“の世界探索 - ゆううきブログ
ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル（Large Language Model: LLM）を日常的に使用したり、表題にあるようにSREのためのLLM（LLM for SRE, LLM4SRE）に関する論文を読むうちに、LLMのテキスト生成器としての性質よりもその優れた推論機械としての性質に注目するようになった。特にSREの障害診断は、人間の専門家が推
生成AI開発に革新か “自律進化”で目的のAIを自動生成 超低コスト＆短期間で高性能モデルも開発済 トップ研究者集団「Sakana AI」
生成AIのトップ研究者らが東京で創業したAIベンチャー「Sakana AI」が、生成AI開発の新たな手法を開発したと3月21日に発表した。従来は人間が手動で設計し、多くの計算資源を使っていたが、同社の手法では設計を機械が自動で行い、“ほぼ無視できるレベル”の計算資源で開発が可能になるという。この手法で開発した日本語基盤モデルをGitHubで公開した。 同社が提案したのは「進化的モデルマージ」という手法。公開されているさまざまな基盤モデル（生成AIを含む、大規模なデータセットによる事前学習で各種タスクに対応できるモデルのこと）を組み合わせて新たなモデルを作る「マージ」に、進化的アルゴリズムを適用したものだ。 マージ自体は現在の基盤モデル開発で使われている手法で、モデルの“神経回路”（アーキテクチャ）の中に別のモデルの神経回路の一部を組み入れたり、入れ替えたり、神経同士のつながりやすさ（重み）
アップル、高度な言語理解を持つ新型AIモデル「MM1」を発表
アップルの研究チームは3月14日、画像とテキストを理解し処理する能力を持つマルチモーダル大規模言語モデル「MM1」を発表した。今のところ論文のみの公開で、一般公開の時期は明かされていない。 一部ベンチマークではGPT-4Vをも凌ぐ性能を発揮 複数（30億、70億、300億）のパラメータサイズを備えるMM1は、10億以上の画像および30兆語以上のテキスト、GitHubのコード例などの多様なデータセットを用い、教師なし学習と教師あり学習を組み合わせる独自の方法で学習され、多様なタスクに対して高い精度を示すという。 各種ベンチマークの結果によると、30億および70億パラメーターのモデルはそれぞれのモデルサイズにおいて過去最高を記録。特にVQAv2（画像理解）、TextVQA（画像内のテキスト情報）、ScienceQA（科学知識）、MMBench（マルチモーダル）、MathVista（数学）などの
Prompt Tuning から Fine Tuning への移行時期推定
公開されている大規模言語モデルをどの程度のデータで Fine Tuning すれば Claude や ChatGPT などの API 公開されているモデルの精度に匹敵するのか検証した資料です。 言語処理学会第30回年次大会 併設ワークショップ 日本語言語資源の構築と利用性の向上 (JLR2024) での発表資料です。 実装はこちら https://github.com/aws-samples/aws-ml-jp/tree/main/tasks/generative-ai/text-to-text/evaluation/lm-evaluation-harness 先行し公開したブログ https://aws.amazon.com/jp/blogs/news/cost-efficiency-of-api-and-oss-generative-ai/
AI レースの次の勝者は？ OpenAI vs Anthropic vs Google - Qiita
各モデルの解説 GPT もはや説明するまでもありませんが、OpenAI の ChatGPT で使われているモデルです。 特に GPT-4 は、ベンチマーク結果を見ても、実際の応答を目視で主観的に判断しても、ほとんどのケースで他の LLM より明らかに優れています。 Claude Anthropic が開発しているモデルで、Poe や Slack アプリを通じて一般公開されています。Claude には高性能な v1 と高速な Instant の 2 種類のモデルがあり、Claude v1 は GPT-3.5 と GPT-4 の中間ぐらいの性能を持っています。 特に注目に値するのは、5 月 11 日に発表されたコンテキスト幅 10 万トークンのバージョン 1 でしょう。これは gpt-4-32k と比較して約 3 倍で、実用レベルの性能を持つ LLM の中では最長のコンテキスト幅です。10 万
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NetBSD bans use of Copilot-generated code – OSnews
LLMの現在 - Speaker Deck
Prompt library