エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
ローカルLLMのフレームワークの選び方 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
ローカルLLMのフレームワークの選び方 - Qiita
本記事はプライバシー・セキュリティやOpenAI_APIの課金回避等の理由で、できればローカルでLLMを使いた... 本記事はプライバシー・セキュリティやOpenAI_APIの課金回避等の理由で、できればローカルでLLMを使いたいが、高価なGPUマシンが無い人向けのローカルLLMフレームワークの選び方についての記事になります。特に企業や個人の非公開の内部データやドキュメントを生成AIに入力することは、心配になりますよね。最近ではローカルLLMの利用に関する情報が増えてきましたが、安心して使えるオープンソースのツールとしては、元祖llama.cppを筆頭にOllama、LM Studioなどがあり、どれが良いか迷うことも多いのではないでしょうか。 結論から言うと現時点ではOllamaが一押しです。理由は各種設定の自由度が高く、手軽に様々なプラットフォーム上で使えて、GPU依存度が低くメモリ消費も少ないからです。具体的に実際の使用経験から各プラットフォームをご紹介し、合わせて使い方のヒントにも触れて行きたいと