AI中文語言理解得分首超人類，阿里達(dá)摩院創(chuàng)造新紀(jì)錄，大模型又立功了

豐色 發(fā)自 凹非寺量子位 | 公眾號 QbitAI

最新中文語言理解領(lǐng)域權(quán)威榜單CLUE，誕生了一項(xiàng)新的紀(jì)錄：

來自阿里達(dá)摩院的大模型，獲得了超越人類成績的86.685高分。

這是該榜單誕生近三年以來，首次有AI超過人類得分。

這也意味著AI理解中文的水平又達(dá)到了一個新的高度。

那么，創(chuàng)下這一紀(jì)錄的AliceMind，是如何做到的？

作為業(yè)界最權(quán)威的中文自然語言理解榜單之一，CLUE從文本分類、閱讀理解、自然語言推理等9項(xiàng)任務(wù)中全面考核AI模型的語言理解能力。

過去三年，該榜單吸引了眾多國內(nèi)NLP團(tuán)隊(duì)的參與，盡管榜首位置多次易主，但參評AI模型一直未能超越人類成績。

本次，這個來源于阿里通義大模型系列的AliceMind，一舉在4項(xiàng)任務(wù)中超過了人類水平，并實(shí)現(xiàn)總分的首次超越。

據(jù)介紹，AliceMind一共靠下面兩個關(guān)鍵技術(shù)獲得這一成績。

首先，基礎(chǔ)模型迭代升級

AliceMind的基礎(chǔ)模型在通用語言預(yù)訓(xùn)練模型StructBERT1.0（入選ICLR 2020）之上，進(jìn)行了迭代升級。

此前1.0的工作聚焦于通過在句子級別和詞級別引入兩個新的目標(biāo)函數(shù)，相當(dāng)于給機(jī)器內(nèi)置一個“語法識別器”。

這使機(jī)器在面對語序錯亂或不符合語法習(xí)慣的詞句時，仍能準(zhǔn)確理解并給出正確的表達(dá)和回應(yīng)，大大提高機(jī)器對詞語、句子以及語言整體的理解力。

本次，達(dá)摩院通過使用此前團(tuán)隊(duì)用于PLUG/中文GPT-3等超大規(guī)模模型訓(xùn)練所使用的海量高質(zhì)量中文文本，以及近兩年訓(xùn)練技術(shù)的經(jīng)驗(yàn)，進(jìn)行了以下改進(jìn)：

• 替換激活函數(shù)，用GLU替換GeLU；

• 使用更大規(guī)模的字/詞混合的詞表，替換了原始的字級別詞表；

• 使用相對位置向量替代絕對位置向量；

• 選取5億規(guī)模的模型，在增加約60%模型參數(shù)和計(jì)算量的前提下，獲得性能顯著提升。

此外，阿里達(dá)摩院配合AliceMind在大規(guī)模預(yù)訓(xùn)練領(lǐng)域訓(xùn)練端和推理端的加速技術(shù)的積累，利用StrongHold(SuperComputing 2022)等技術(shù)實(shí)現(xiàn)了在16卡A100上用14天時間完成超過500B tokens的訓(xùn)練。

其次，F(xiàn)inetune

預(yù)訓(xùn)練模型是語義理解的重要基礎(chǔ)，但是如何將其應(yīng)用于下游任務(wù)同樣也是一項(xiàng)重要的挑戰(zhàn)。

達(dá)摩院NLP團(tuán)隊(duì)面對語義相似度、文本分類、閱讀理解等下游任務(wù)，從遷移學(xué)習(xí)、數(shù)據(jù)增強(qiáng)、特征增強(qiáng)等方面進(jìn)行了一系列的探索，來提升下游任務(wù)的性能表現(xiàn)。

以CLUE榜單中的WSC任務(wù)為例：{“target”: {“span2_index”: 25, “span1_index”: 14,“span1_text”: “小橋”, “span2_text”: “它”},“idx”: 14,“label”: “true”,“text”: “村里現(xiàn)在最高壽的人，也不知這小橋是什么年間建造的。它年年搖搖欲墜，但年年都存在著。”}

輸入樣本構(gòu)建方式：

村里現(xiàn)在最高壽的人，也不知這<名詞>小橋</名詞>是什么年間建造的。<代詞>它</代詞>年年搖搖欲墜，但年年都存在著。

在常規(guī)的分類方法中，一般使用[CLS]標(biāo)簽的最后一層隱藏狀態(tài)作為輸入分類器的特征，要求模型通過標(biāo)記隱式地學(xué)習(xí)指代任務(wù)。

為了加強(qiáng)分類器的輸入特征，阿里達(dá)摩院從編碼器最后一層隱藏狀態(tài)中提取出指代詞和名詞所對應(yīng)的向量表示并進(jìn)行mean pooling。

隨后將名詞和代詞的向量表示進(jìn)行拼接，并用分類器進(jìn)行0-1分類。在加入增強(qiáng)輸入特征后，在dev集上，模型表現(xiàn)從87.82提升至93.42(+5.6)。

通過分析structbert的預(yù)訓(xùn)練任務(wù)，我們也可以發(fā)現(xiàn)，這種特征構(gòu)建的方式，更符合structbert預(yù)訓(xùn)練任務(wù)的形式，縮短了Pretrain階段和Fine-tune階段的gap，從而提高了模型表現(xiàn)。

△structbert預(yù)訓(xùn)練任務(wù)

阿里達(dá)摩院歷經(jīng)三年研發(fā)出阿里通義AliceMind。

該模型體系涵蓋預(yù)訓(xùn)練模型、多語言預(yù)訓(xùn)練模型、超大中文預(yù)訓(xùn)練模型等，具備閱讀理解、機(jī)器翻譯、對話問答、文檔處理等能力。

并先后登頂了GLUE、CLUE、XTREME、VQA Challenge、DocVQA、MS MARCO在內(nèi)的自然語言處理領(lǐng)域的的六大權(quán)威榜單，斬獲36項(xiàng)冠軍。

AliceMind已于去年6月開源。

本次在CLUE benchmark上首超人類中所使用的backbone模型，已經(jīng)在達(dá)摩院此前發(fā)布的ModelScope平臺中開放。

開放地址：https://modelscope.cn/models/damo/nlp_structbert2_fill-mask_chinese-large/summary