ローカルでLLMの推論を実行するのにOllamaがかわいい
ローカルでLLMを動かそうとなったら transformers ライブラリ、llama.cpp、text generation webuiなどいくつかの選択肢があると思いますが、どれもめちゃくちゃハードルが高いというほどではないですが、動かすまでの手続が若干いかつい印象があります。 そんな中で Ollama というツールを試してみたところインターフェイスがシンプル、ついでにキャラクターのラマが可愛いのでご紹介していこうと思います。 ちなみにですが、日本語での言及はあまり見かけなかったですが、LangChain が出してるレポートでは OSS モデルを動かすのに使われているものとしては3番目に多く使われており、 出典: LangChain State of AI 2023 GitHub のスター数も現在約33700とかなり人気を集めていそうです。 Ollama で CLI から推論 では早速
Run Llama 2 uncensored locally · Ollama Blog
Run Llama 2 uncensored locally August 1, 2023 In May 2023, Eric Hartford, a machine learning engineer authored a popular blog post “Uncensored Models” providing his viewpoints to the merits of uncensored models, and how they are created. It’s a great read! This post will give some example comparisons running Llama 2 uncensored model vs its censored model. Some of the uncensored models that are ava
【ChatGPT関連】（Llama を使って）簡単Webページ要約 - Qiita
はじめに OpenAIのGPTを使ったチャットボットを簡単に作成できる「LlamaIndex」を用いて、 テンプレート（プロンプト）を使ったWebページの要約を簡単に生成する方法 を整理しました。 モチベーションとして、Webページを読み込んでindexを作成しQueryに直接文字列を指定するサンプルはネット上にありましたが、テンプレートを活用するサンプルがなかったため独自に作成して検証してみました。 この方法を使えばテンプレートに渡すキーワードを変えるだけで様々な処理ができるようになると思います。 なお、動作確認はGoogleコラボを使いGPT3.5で検証しました。 以下に順を追って説明します。 必要なライブラリィのインストール !pip install llama-index !pip install langchain !pip install openai
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
