因果解碼器大模型Falcon-40B

Falcon-40B 是400 億參數的因果解碼器模型,它在RefinedWeb 的1000B token 上進行訓練,並使用精選數據集增強。它在Huggingface 的OpenLLM 排行榜上排首位,其性能優於LLaMA、MPT、RedPajama 和StableLM 等。 Falcon-40B 使用自定義工具構建,包含一個獨特的數據管道,該管道從公開網絡中提取訓練數據。 Falcon 從公網上抓取內容構建好Falcon 的初始預訓練數據集後,再使用CommonCrawl 轉儲,進行大量過濾(包括刪除機…

#因果解碼器大模型Falcon40B

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *