Serge首頁、文檔和下載- Alpaca 模型聊天界面- 程式开发

Serge 是基於llama.cpp 的聊天界面，用於運行羊駝模型。完全自託管，不需要API 密鑰。適合4GB RAM 並在CPU 上運行。

• SvelteKit 前端
• 用於存儲聊天記錄和參數的Redis
• API 的FastAPI + langchain，使用python 綁定包裝對llama.cpp 的調用

使用

設置Serge 非常簡單，可以在一個命令中完成啟動：

docker run -d \
         -v weights:/usr/src/app/weights -v datadb:/data/db/ \
         -p 8008:8008 ghcr.io/nsarrazin/serge:latest
        

然後只需轉到 http://localhost:8008/ 就可以了！

API 文檔可以在 http://localhost:8008/api/docs 找到