サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
GPT-4o
note.com/ai_meg
簡単に使えるAPIサーバがほしい前述のように、時間も無いということで、画像アップロードとチャット機能だけに縛った簡単なAPIサーバを実装しています。LLaVAのオリジナルコードにはChatの過去ログ機能もあるので有効に活用します。 LLaVA-NEXTの導入GiyHubからクローンします。 git clone https://github.com/haotian-liu/LLaVA.git cd LLaVA環境に合わせて構築Install Packageに従えば簡単に環境は構築できるはずです。トレーニングはしないのでadditional packagesは不要です。 conda create -n llava python=3.10 -y conda activate llava pip install --upgrade pip # enable PEP 660 support pip
解説を論文執筆者でプロジェクトの代表でもある「あき先生」が解説してくださっているYuTubeもあります。論文の拾い読みもしていただいており、とても参考になりますので、ぜひご覧ください。(3時間と長いですが飛ばせるような、無駄な部分はありません) デモやサンプルコードも豊富にあるので、機能や性能を知りたい場合はそちらを動かしてください。大変興味深いデモもあります。アプリに組み込む場合もラッパーが準備されているのでそちらを使えば厄介なpipeやstreamオブジェクトの操作は必要ありません。しかし、性能を引きだしなが柔軟にアプリで使用するためには直接pipeやstreamを操作する方がよさそうです。この記事では後者のケースでStreamDiffusionを使用する時のコツについてこれまでにテストした手法を解説します。 環境構築Readmeに記述されているとおりに構築を進めます。デモやexamp
キャラ付けプロンプトも公開。APIも。 gguf版,japanese-stablelm-instruct-gamma-7bをllama.cppで動かす。 それなりの結果が得られたので、速攻で記事にしました。めぐのキャラ付けプロンプトも公開しちゃいました(完全版では無いですが)。生成速度早いし、ローカルLLMでは今までにない感触です。プロンプトがいい加減なので女子高生設定なのに、飲みに行くそうです。でも最後には、「(笑)私はお酒に興味がないけど。」と付け足してますね。 注:)# 推論の実行の下、 stop=["### 入力"], を stop=["### 入力","\n\n### 指示"], に修正、これにより余分な生成が行われにくくなります。2023/10/30 環境llama.cppが動く環境で動作確認。 gitからllama.cppをcliしてディレクトリがあること。 コンパイル
このページを最初にブックマークしてみませんか?
『めぐチャンネル|note』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く