from fastapi import FastAPI from langchain_community.llms.llamacpp import LlamaCpp from langserve import add_routes # REST API公開するアプリを定義 app = FastAPI( title="LangServe", version="1.0", description="LangChain Server", ) # ダウンロード済みLLMの絶対パス model_path = "/home/oracle/llm/vicuna-13b-v1.5.Q4_K_M.gguf" # モデルの読み込み llm = LlamaCpp( model_path=model_path, n_ctx=2048, max_tokens=4096 ) # REST API公開するURLパス、機