“悟道”是雙語多模態預訓練模型，規模達到1.75 萬億參數。項目現有7 個開源模型成果，模型參數文件需到悟道平台進行下載申請。
圖文類
CogView參數量為40億，模型可實現文本生成圖像，經過微調後可實現國畫、油畫、水彩畫、輪廓畫等圖像生成。目前在公認MS COCO文生圖任務上取得了超過OpenAI DALL·E的成績，獲得世界第一。
BriVL (Bridging Vision and Language Model) 是首個中文通用圖文多模態大規模預訓練模型。 BriVL模型在圖文檢索任務上有著優異的效果，超過了同期其他常見的多模態預訓練模型（例如UNITER、CLIP）。
文本類
GLM是以英文為核心的預訓練語言模型系列，基於新的預訓練範式實現單一模型在語言理解和生成任務方面取得了最佳結果，並且超過了在相同數據量進行訓練的常見預訓練模型（例如BERT，RoBERTa和T5），目前已開源1.1億、3.35億、4.10億、5.15億、100億參數規模的模型。
CPM系列模型是兼顧理解與生成能力的預訓練語言模型系列，涵蓋中文、中英雙語多類模型，目前已開源26億、110億和1980億參數規模的模型。
Transformer-XL是以中文為核心的預訓練語言生成模型，參數規模為29億，目前可支持包括文章生成、智能作詩、評論/摘要生成等主流NLG任務。
EVA是一個開放領域的中文對話預訓練模型，是目前最大的漢語對話模型，參數量達到28億，並且在包括不同領域14億漢語的悟道對話數據集（WDC）上進行預訓練。
Lawformer是世界首創法律領域長文本中文預訓練模型，參數規模達到1億。
蛋白質類
#悟道首頁文檔和下載 #雙語多模態大語言模型 #程式开发