筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性（アスキー） - Yahoo!ニュース
PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀です。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。 【もっと写真を見る】 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカル
In Vim, there’s a variety of commands that let you accomplish tasks in different ways. This can be overwhelming for beginners trying to figure out the most efficient keystrokes for editing. In this tutorial, I’ll share my approach to using Vim commands and offer some real life examples to help you improve your workflow. Guidelines Here are some general rules of my workflow: Don’t use mouse and arr
2024年は高性能化と軽量化が進むローカルLLMに注目 また、今はローカルで高性能なLLMを動かすためにはVRAM容量の多い、高価なビデオカードを搭載するPCマシンが必要ですが、モデルの量子化アプローチも様々な圧縮する方法が試されており、大きなモデルをさらに小さなデータ量にする手法が発見されつつあります。最近、RAMとVRAMのどちらの役割も与えられるユニファイドメモリを搭載していることから、ローカルLLMを動かす環境として「Mac Studio」が注目されはじめています。数年という時間はかかるでしょうが、いずれ一般的なスペックのパソコンや、あるいはスマートフォンやタブレットでも、高性能なローカルLLMが動作する環境が整ってくるのではないでしょうか。 2023年までは、ごく一部の人々しか触れられていなかったローカルLLMの世界ですが、2024年に入り、LM Studioのような扱いやすい環
今回は、ローカルで動かせるCommand R+の量子化モデルを色々使ってそれぞれにElyzaTasksベンチマークを解かせるという事をやる。 何故そんな事をする必要があるんですか？ まず、LLMのパラメータは本来1パラあたり16bitの精度で保存されている。しかし、LLMを動かすとメチャクチャメモリやVRAM食う。だから、精度を下げちゃえば省メモリになっていんじゃね？という話で、8bitやら4bitやら2bitに精度を下げちゃう事が、特にLlama.cpp界隈では常識的に行われている。これが量子化だ。というか、コンシューマレベルのPCでLLMを実用的に動かしたいと思えば、量子化はもはや必須テクである。 量子化でbit数を下げれば下げるほど、当たり前だがLLMの回答の精度、クオリティは下がっていく。要するにアホになってく。8bitはまったく問題なし。6bit、5bitも全然問題なし。4bit
Amazon BedrockにCohere Command R と Command R+ が来たよ！RAGがすげーよ！ - Qiita
Amazon BedrockにCohere Command R と Command R+ が来たよ！RAGがすげーよ！AWSragbedrockCohereCommand-R+ GW真っ只中の4/30、Amazon BedrockにCohere Command RとCommand R+がやってきました！！🎊🎊🎊 Command R+はただのテキスト生成の枠を超えたAPIになっています！（と勝手に解釈しています！！） いろいろ特徴がありそうですが、まずは、RAGをやってみました。 なにがすごいの？ Command R+のInvoke ModelのBodyが特徴的で、 documentを渡す専用項目があります 。
Exploring Reline: Enhancing Command Line Usability
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (1/5)
Practical Vim command workflow | Max Shen Dev
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (5/5)
Command R+はどこまで量子化するとアホになってしまうのか？