エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
開発メモ その356 llama を Web API 経由で動かす · A certain engineer "COMPLEX"
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
開発メモ その356 llama を Web API 経由で動かす · A certain engineer "COMPLEX"
Introductionllama を試してみて思うのは、コンソールベースで動作しているため、プロダクトでは使いに... Introductionllama を試してみて思うのは、コンソールベースで動作しているため、プロダクトでは使いにくい点。 実際の ChatGPT みたいに API で提供していたら使いやすいので、そういうものがないかを調べてみた。 What options are there?Python Bindings for llama.cppllama.cpp の Python バインディングである Python Bindings for llama.cpp。 Python をつかったサーバーモジュールが提供されている。 (実は、llama.cpp にもサーバーアプリケーションは存在するが、こちらのが導入は簡単) 現時点で Python 3.8 以上が必要。 Install