NVIDIA、PC上で動くカスタムAI「Chat with RTX」を無償公開

[Tamemaru]

エッチな出力できそう／マジな話として、PCの性能がうなぎ登りに上がっていけば当然家庭用PCで自然言語AIが使える日はそう遠からず来るだろう。それが5年後か10年後かはわからないが。

[north_korea]

使ってみたけど当然日本語は無理なのとめちゃくちゃ量子化されてるのでそんなに性能高くなかった

[blackphone9]

ローカルで完結するの面白そう｡家庭内で大きく電力消費するのがIHや空調の次辺りにカスタムAIが来そうではある｡さらに冷房設備付きのPC(サーバー)ルームが必要になるとか｡

[karkwind]

おお！

[shields-pikes]

LLMは、それなりにリソースをかければ7〜8割くらいの性能はみんな実現できるけど、残り2〜3割のチューニングこそが大事、みたいな勝負だからなー。ChatGPTになかなか並べない。／NVIDIAにとっては、GPU販促活動の一環かな。

[IGA-OS]

私的なチャットボットを育てる？

[iksmpic]

日本語使えるなら導入したいな。最新GPUあるし試す価値ありそうだ

[lessninn]

NVIDIA何にでもRTXの看板を背負わせてるな。うちのGTX世代GPUよ。そうだ、お前は親から見限られた存在なんだよ。

[syou430]

これはスタンダードになるね。OSとのコンビネーションが大事になりそう。マシンスペックに新しい項目が増えるレベルだと思う。今のsiriでは成し遂げられない何かがありそう。

[lbtmplz]

もうすぐ家族になりそうだな…

[georgew]

GeForce RTX 30/40シリーズまたはNVIDIA RTX Ampere/Ada世代、かつVRAM 8GB以上のGPUを搭載したPCで利用できる > 高機能GPU搭載PCなら文字通り無理もない話。

[norihiko_matsumoto]

試す価値あるな。 mysqlの中をcsvでエクスポート、マネーフォワードの内容もcsvでエクスポート

[typographicalerror]

ネットに日本語のプロンプト投げて英訳してもらってからローカルでこれに投げる、みたいな状況になりそうな気がした

[akiat]

企業のサービスが規制されても、個人で使う分に逃れられることになるのか

[harumomo2006]

当然の流れだけど今のスペックじゃまだキツイ

[zakinco]

おおー

[Helfard]

一家に一AIの時代も近い。いつかはAIにゲームのレベル上げを依頼したら勝手にクリアされたみたいな話も出るのだろうか。

[m10i]

プロンプト弄くれれのかな？

[idainahikikomori153]

USのサイトからダウンロード可能だった

[x100jp]

日本語は理解してくれるけど出力は英語だったり、文字化けするらしい。　https://news.livedoor.com/lite/article_detail/25872322/

[Kukri]

こういうのが急速に性能を上げて、chatGPTの有料版を値下げする圧力になってほしい

[habarhaba]

これもまたすげーな

[knok]

結局ベースはLLaMA2やMistral.AIのやつなのか。text-generation-webuiにRAGが付いた感じぐらいかな

[camellow]

これに読み込ませるためにスマホやPCでのメッセージやウェブ閲覧履歴を集めてローカルに保存するツールがあると便利そう

[ET777]

おお？

[soyokazeZZ]

HDDにため込んだ肌色の多いお花畑の動画をレコメンドしてくれるんですか

[threewaygood]

古のイルカがNVIDIAによって真の完成を見るのか🐬

[snaflot]

“PC上のローカルファイルをデータセットとして読み込むことで、「この前家族が教えてくれたオススメのレストランってどこだっけ?」といった、私的なユーザーの質問に対する回答をチャットボットが返してくれる”

[zoidstown]

“データセットとしては、テキスト(.txt)、PDF(.pdf)、Word文章(.doc/.docx)、XML(.xml)などさまざまなファイル形式をサポート。ツール上からフォルダを指定すると、その中のファイルを読み込んで回答に活用する。”

[tambo]

仕事で使いたいけどビデオボード載せられるPCなんて買って貰えそうにないなby零細企業

[misshiki]

“PC上のローカルデータを使って自分にパーソナライズしたAIチャットボットを作ることができるツール「Chat with RTX」”無償。機密性の高いデータについても第三者に共有することなく処理できる。