WizardLM首頁、文檔和下載- 基於LLaMA 的微調大語言模型- 程式开发

WizardLM 是一個經過微調的7B LLaMA 模型。它通過大量具有不同難度的指令跟隨對話進行微調。這個模型的新穎之處在於使用了LLM 來自動生成訓練數據。

WizardLM 模型使用一種名為Evol-Instruct（是一種使用LLM 代人類自主批生成各種難度等級和技術範圍的開放指令，以提高LLM 能力的新方法）的新方法，通過70k 個計算機生成的指令進行訓練，該方法生成具有不同難度級別的指令。

Evol-Instruct 使用以下五個操作來擴展提示：

• 添加約束

• 深化

• 具體化

• 增加推理步驟

• 複雜輸入

這些操作按順序應用於初始指令以使其更加複雜，回復由LLM 生成。