Chinese-LLaMA-Alpaca 包含中文LLaMA 模型和經過指令微調的Alpaca 大型模型。
這些模型在原始LLaMA 的基礎上,擴展了中文詞彙表並使用中文數據進行二次預訓練,從而進一步提高了對中文基本語義理解的能力。同時,中文Alpaca 模型還進一步利用中文指令數據進行微調,明顯提高了模型對指令理解和執行的能力。
本項目主要內容
- 針對原版LLaMA模型擴充了中文詞表,提升了中文編解碼效率
- 開源了使用中文文本數據預訓練的中文LLaMA以及經過指令精調的中文Alpaca
- 快速使用筆記本電腦(個人PC)的CPU/GPU本地量化和部署體驗大模型
- 支持Hugging Face transformers,llama.cpp,text-generation-webui,LlamaChat等生態
- 目前已開源的模型版本:7B(標準版、Plus版)、13B(標準版)
下圖是中文Alpaca-7B模型在本地CPU量化部署後的實際體驗效果(GIF未加速,M1 Max下實測):
#ChineseLLaMAAlpaca首頁文檔和下載 #中文LLaMA #Alpaca #大模型 #程式开发