「Llama.cpp」とHugging Faceが開発している「ChatUI」を使ってLLM（大規模言語モデル）をローカル環境で使用する - パソコン関連もろもろ

はじめにWSL2上のLlama.cppで大規模言語モデルの「zephyr-7b-beta」を実行して、Windows上のChatUIでそれを利用してみました。 無料で実行可能です。 github.com github.com 必要なものHugging Faceのアクセストークンが必要です。 WSL2にDocker Engineのインストールが必要です。 Windowsにnpmのインストールが必要です。使用した環境WSL2 Ubuntu 22.04 on WSL2 CUDA 11.8 Windows Windows 11 WSL2側でやることDockerのインストールこちらに従いました。 WSL2の場合は最初に以下のコマンドを実行しないとDockerが起動しません。 sudo service docker start MongoDBの起動初回 sudo docker run -d -p 27