Falcon-40B 是400 億參數的因果解碼器模型,它在RefinedWeb 的1000B token 上進行訓練,並使用精選數據集增強。它在Huggingface 的OpenLLM 排行榜上排首位,其性能優於LLaMA、MPT、RedPajama 和StableLM 等。 Falcon-40B 使用自定義工具構建,包含一個獨特的數據管道,該管道從公開網絡中提取訓練數據。 Falcon 從公網上抓取內容構建好Falcon 的初始預訓練數據集後,再使用CommonCrawl 轉儲,進行大量過濾(包括刪除機… |
#因果解碼器大模型Falcon40B