「Ollama」と「ChatUI」を使って Microsoft の Phi-3 をローカルで利用する。軽い、速いは正義です。 - パソコン関連もろもろ

はじめにWSL2上のOllamaで「Phi-3」を実行して、Windows上のChatUIでそれを利用してみました。 無料で実行可能です。 github.com github.com 必要なものWSL2にDocker Engineのインストールが必要です。 Windowsにnpmのインストールが必要です。使用した環境WSL2 Ubuntu 22.04 on WSL2 CUDA 11.8 Windows Windows 11 WSL2側でやることDockerのインストールこちらに従いました。 WSL2の場合は最初に以下のコマンドを実行しないとDockerが起動しません。 sudo service docker start MongoDBの起動初回 sudo docker run -d -p 27017:27017 --name mongo-chatui mongo:latest 2回目以降