悟道

2021年6月，北京智源研究院（BAAI）推出了悟道1.0的后續(xù)版本悟道2.0，作為中國第一個超大規(guī)模智能模型系統(tǒng)。悟道是一個語言模型，旨在在人類層面的思維上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。經(jīng)過4.9TB的圖像和文本訓練，并在9個基準上超過了最先進（SOTA）水平，悟道比任何同行都更接近于實現(xiàn)通用人工智能（AGI）和人類水平的思維。 悟道接受了4.9 TB高質(zhì)量英文和中文圖像和文本的訓練： 1.2TB中文文本數(shù)據(jù) 2.5TB中文圖形數(shù)據(jù) 1.2TB英文文本數(shù)據(jù) 悟道是基于開源的 MoE 系統(tǒng) FastMoE 進行訓練的。MoE是一種機器學習技術(shù)，其工作原理如下： 將預測建模任務(wù)劃分為子任務(wù)，針對每個子任務(wù)訓練專家（學習者）模型，開發(fā)門控模型，該門控模型基于要預測的輸入來學習咨詢哪個專家，并組合預測。FastMoE使悟道能夠并行咨詢不同的專家模型，并切換到預測結(jié)果最好的模型。例如，如果輸入是英文文本，悟道將使用預測模型，該模型可以在英文文本中生成回應(yīng)。