WizardLM首頁、文檔和下載- 基於LLaMA 的微調大語言模型- 程式开发

WizardLM 是一個經過微調的7B LLaMA 模型。它通過大量具有不同難度的指令跟隨對話進行微調。這個模型的新穎之處在於使用了LLM 來自動生成訓練數據。

WizardLM 模型使用一種名為Evol-Instruct(是一種使用LLM 代人類自主批生成各種難度等級和技術範圍的開放指令,以提高LLM 能力的新方法)的新方法,通過70k 個計算機生成的指令進行訓練,該方法生成具有不同難度級別的指令。

Evol-Instruct 使用以下五個操作來擴展提示:

  • 添加約束

  • 深化

  • 具體化

  • 增加推理步驟

  • 複雜輸入

這些操作按順序應用於初始指令以使其更加複雜,回復由LLM 生成。

#WizardLM首頁文檔和下載 #基於LLaMA #的微調大語言模型 #程式开发

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *