BLOOMChat首頁、文檔和下載- 176B 的多語言聊天LLM – 程式开发

BLOOMChat 是一個1760 億參數的多語言聊天模型。它是由BLOOM(176B) 在助理式的對話數據集上進行指導調整的，並支持多種語言的對話、問題回答和生成性答案。

BLOOMChat 是一個新的、開放的、多語言的聊天LLM。 SambaNova 和Together 使用SambaNova 獨特的可重構數據流架構在SambaNova DataScale 系統上訓練了BLOOMChat；其建立在BigScience 組織的BLOOM 之上，並在OpenChatKit、Dolly 2.0 和OASST1 的OIG 上進行了微調。

BLOOM 已經是最大的多語言開放模型，在46 種語言上進行了訓練，是由1000 多名研究人員聯合進行的國際合作開發。 SambaNova 在Apache 2.0 許可證的修改版下發布了BLOOMChat，其中包括BLOOM 的RAIL 許可中基於使用的限制。

示例：

方法

數據採集

在開發BLOOMChat 時，項目團毒旨在結合合成對話數據和高質量人工編寫示例的優勢。首先利用大型合成對話數據集 OpenChatKit 為模型的聊天功能奠定基礎。為了增強模型的性能和人工對齊，隨後在人工生成的數據集 Dolly 2.0 和 OASST1 上對其進行了訓練，其中包含少量高質量示例。

訓練

使用RDU（可重構數據流單元）在 SambaNova DataScale 系統上訓練BLOOMChat。從BLOOM-176B 開始，然後在 OpenChatKit 上對 BLOOM-176B 進行了指令調整，每個數據源在一個時期內二次採樣到100k，然後在組合的 OpenChatKit 和 Dolly-v2 上做3 輪fine tune。

用於準備數據集的所有代碼以及用於運行訓練和推理的腳本都是開源的，可以在 SambaNova 的GitHub上免費獲得。