WizardLM 是一個經過微調的7B LLaMA 模型。它通過大量具有不同難度的指令跟隨對話進行微調。這個模型的新穎之處在於使用了LLM 來自動生成訓練數據。
WizardLM 模型使用一種名為Evol-Instruct(是一種使用LLM 代人類自主批生成各種難度等級和技術範圍的開放指令,以提高LLM 能力的新方法)的新方法,通過70k 個計算機生成的指令進行訓練,該方法生成具有不同難度級別的指令。
Evol-Instruct 使用以下五個操作來擴展提示:
-
添加約束
-
深化
-
具體化
-
增加推理步驟
-
複雜輸入
這些操作按順序應用於初始指令以使其更加複雜,回復由LLM 生成。
#WizardLM首頁文檔和下載 #基於LLaMA #的微調大語言模型 #程式开发