Alpaca Electron 旨在成為與Alpaca 羊駝AI 模型聊天的最簡單方式,無需任何命令行或編譯。
功能+待辦事項
- 在您的計算機上本地運行,除下載模型外不需要互聯網連接
- 緊湊高效,因為它使用llama.cpp作為後端(也支持Alpaca & Vicuna)
- 在CPU 上運行,任何人都可以在沒有昂貴顯卡的情況下運行它
- 不需要外部依賴,一切都包含在安裝程序中
- 從流行的聊天AI “借來”的UI
- 支持Windows、MacOS 和Linux(未經測試)
- Docker化🐋
- 上下文記憶
- 聊天記錄 未完成
- 與穩定擴散整合 未完成
- 用於Web 訪問的DuckDuckGo 集成 未完成
- GPU 加速(cuBLAS 和openBLAS)未完成
快速入門指南
- 下載一個Alpaca 模型(推薦7B native)並將其放在計算機上容易找到的地方。
注意
此存儲庫中不會提供下載鏈接。
-
從發布頁面部分下載最新的安裝程序。
-
打開安裝程序並等待它安裝。
-
安裝完成後,它會詢問模型的有效路徑。現在,轉到放置模型的位置,按住Shift 鍵,右鍵單擊文件,然後單擊“複製為路徑”。然後,將其粘貼到該對話框中並單擊
Confirm
。 -
程序會自動重啟。現在您可以開始聊天了!
注意
該程序還將接受任何其他4 位量化的.bin 模型文件。如果您能找到其他.bin Alpaca 模型文件,您可以使用它們代替快速入門指南中推薦的文件來試驗不同的模型。一如既往,小心您從互聯網上下載的內容。
🔧故障排除
通用
- 如果在將路徑粘貼到模型文件時出現“無效文件路徑”錯誤,則可能是其中存在某種拼寫錯誤。嘗試再次復制路徑或使用文件選擇器。
- 如果您收到“無法加載模型”的錯誤消息,則您的模型可能已損壞或不兼容。嘗試再次下載模型。
- 如果您遇到此處未列出的其他問題或問題,請在本頁頂部的“問題”選項卡中創建問題。詳細描述發生了什麼,並附上屏幕截圖。
windows
- 如果模型已加載到RAM 但文本生成似乎沒有開始,請檢查您的CPU 是否與AVX2指令集兼容。如果它不支持AVX2,Alpaca Electron 將使用AVX 代替,這會慢很多,請耐心等待。
- 如果您收到一條錯誤消息“vcruntime140_1.dll is missing”或什麼都沒有發生並且模型未加載到RAM 中,請嘗試安裝Microsoft Visual C++ Redistributable 。
蘋果系統
- 如果您收到一條錯誤消息“無法打開應用程序,因為它來自身份不明的開發人員。”,請轉到“應用程序”文件夾。然後,按住控制鍵並單擊該應用程序。然後單擊“打開”,然後在出現警告時單擊“打開”。您的首選項將被保存,MacOS 將允許您從現在開始正常打開應用程序。
- 如果上述方法不起作用,請嘗試在終端中運行以下命令:
xattr -cr /Applications/Alpaca\ Electron.app/
Linux
-
您可以從發布頁面下載預構建的應用程序(打包為tar.gz),解壓縮並執行它,
./"alpaca electron"
或者自己構建應用程序。 -
如果您想自己構建應用程序:
克隆存儲庫:
git clone https://github.com/ItsPi3141/alpaca-electron.git
將當前目錄更改為alpaca-electron:
cd alpaca-electron
安裝特定於應用程序的依賴項:
npm install --save-dev
構建應用程序:
npm run linux-x64
將當前目錄更改為構建目標:
cd release-builds/'Alpaca Electron-linux-x64'
運行應用程序
./'Alpaca Electron'
docker 組成
- 您可以使用docker compose 運行此電子應用程序。因此,您需要完成以下步驟:
克隆存儲庫:
git clone https://github.com/ItsPi3141/alpaca-electron.git
將當前目錄更改為alpaca-electron:
cd alpaca-electron
構建容器鏡像:
docker compose build
運行應用程序容器:
docker compose up -d
- 如果沒有窗口打開運行
docker compose up
(沒有-d)。如果出現類似在您的docker 主機上Authorization required, but no authorization protocol specified
運行的錯誤。xhost local:root
#Alpaca #Electron首頁文檔和下載 #羊駝AI #本地GUI #程式开发