ChatGPT “克星”出現(xiàn)，OpenAI 重磅發(fā)布全新 AI 鑒別工具，網(wǎng)友吐槽：失敗率太高啦！

ChatGPT 的實(shí)力，讓眾人為之瘋狂，但也讓外界感到害怕。

對(duì)于其創(chuàng)造者，OpenAI 一邊在奮力升級(jí) ChatGPT，讓它的真實(shí)性和數(shù)學(xué)能力都大大提升；另一邊開(kāi)啟“壓制”模式，解使用者的后顧之憂，讓 ChatGPT 的應(yīng)用越來(lái)越正規(guī)。

這不，昨日，OpenAI 重磅推出了一款新的 AI 工具，用來(lái)識(shí)別 AI 生成的文本內(nèi)容，并給出多種建議，幫助人類(lèi)辨別內(nèi)容的「真?zhèn)巍埂２贿^(guò)，OpenAI 自己也率先承認(rèn)，這款工具是“不完美”的。

想要嘗鮮的用戶，可以通過(guò)以下鏈接了解詳情：https://platform.openai.com/ai-text-classifier

新工具誕生

在公告中，OpenAI 表示，新款的 AI-Text-Classifier（AI 文本分類(lèi)器）可以用來(lái)區(qū)分人類(lèi)寫(xiě)的文本和來(lái)自各種供應(yīng)商使用 AI 寫(xiě)的文本。

這款 AI 文本分類(lèi)器是一個(gè)語(yǔ)言模型，它是基于同一主題下人工編寫(xiě)文本和人工智能編寫(xiě)文本對(duì)數(shù)據(jù)集上進(jìn)行的微調(diào)。

在模型訓(xùn)練上，OpenAI 認(rèn)為是由人類(lèi)編寫(xiě)的各種來(lái)源收集了這個(gè)數(shù)據(jù)集，比如預(yù)訓(xùn)練數(shù)據(jù)和提交給 InstructGPT 的人類(lèi)演示。

進(jìn)而，OpenAI 再將把每個(gè)文本分為提示和響應(yīng)。在這些提示下，研究人員從其和其他組織訓(xùn)練的各種不同的語(yǔ)言模型中產(chǎn)生了響應(yīng)，以此來(lái)不斷訓(xùn)練 AI 文本分類(lèi)器。

OpenAI 表示，“對(duì)于我們的 Web 應(yīng)用，我們調(diào)整了置信度閾值，以保持較低的誤報(bào)率；換句話說(shuō)，只有當(dāng)分類(lèi)器非常有信心的情況下，才會(huì)將文本標(biāo)記為可能是人工智能寫(xiě)的。”

在使用上，和 ChatGPT 的方法一樣，這款免費(fèi)且基于 Web 的工具用起來(lái)也特別方便。只需要用戶將文本內(nèi)容復(fù)制到檢測(cè)框中，系統(tǒng)就可以評(píng)估文本由 AI 系統(tǒng)生成的可能性。

它一共提供了五種判別結(jié)果：非常不可能是由人工智能生成的；不可能；不清楚；可能；非常可能。

新款 AI 文本分類(lèi)器在識(shí)別大于 1000 字的文本樣本和用英語(yǔ)描述的文本中呈現(xiàn)的效果最好。要想提高這款工具的準(zhǔn)確性，官方建議輸入的文本長(zhǎng)度越多越好。相較而言，它在其他語(yǔ)言中的表現(xiàn)明顯較差。

有些遺憾的是，它并不能區(qū)分人類(lèi)和人工智能編寫(xiě)的計(jì)算機(jī)代碼。

官方警告慎用：沒(méi)想象得那么好

目前對(duì)于這款工具，OpenAI 并沒(méi)有做出更多的原理介紹，主要原因或因?yàn)檫@款工具還并不成熟。

當(dāng)下這款分類(lèi)器還有一些局限性：

• 對(duì)于一些固定的標(biāo)準(zhǔn)答案、文本等非常容易預(yù)測(cè)的內(nèi)容，AI 文本分類(lèi)器無(wú)法可靠地識(shí)別出來(lái)。例如，不可能預(yù)測(cè)前 1000 個(gè)質(zhì)數(shù)的列表是由人工智能還是人類(lèi)寫(xiě)的，因?yàn)檎_答案總是一樣的。

• AI 寫(xiě)的文本可以被二次編輯，從而躲過(guò)分類(lèi)器的檢測(cè)。

OpenAI 官方表示，該工具識(shí)別還不是特別準(zhǔn)確。在實(shí)驗(yàn)中，其對(duì)英語(yǔ)文本內(nèi)容進(jìn)行了測(cè)試，AI-Text-Classifier 可以正確地將 26% 的 AI 內(nèi)容正確識(shí)別，提供“可能是 AI 編寫(xiě)的”建議參考；同時(shí)，錯(cuò)誤地將 9% 的人類(lèi)編寫(xiě)內(nèi)容識(shí)別為 AI 生成的，這就屬于誤判了。

一名教授做了道計(jì)算后稱：當(dāng)下，這個(gè)工具在實(shí)踐中是相當(dāng)無(wú)用

對(duì)此，來(lái)自洛桑聯(lián)邦理工學(xué)院教授 Marcel Salathé 對(duì)這個(gè)比例進(jìn)行了計(jì)算，用以判別新 AI 分類(lèi)器工具到底有多大用處。

他舉例道，假設(shè)一所大學(xué)有 1000 名學(xué)生被要求寫(xiě)一篇文章，其中 3% 的人試圖作弊，用 ChatGPT 來(lái)生成文本。因此，在這個(gè)比例下，會(huì)有 30 個(gè) AI 生成的文本和 970 個(gè)人類(lèi)生成的文本。

在此背景下，該學(xué)校的一名老師聽(tīng)說(shuō)了 OpenAI 的新人工智能檢測(cè)工具，并通過(guò)這款工具來(lái)檢測(cè)收到的 1000 篇文章。根據(jù) OpenAI 提供的比率來(lái)計(jì)算：

在 970 個(gè)人類(lèi)生成的文本中，9%（即 87 個(gè)）將被錯(cuò)誤地標(biāo)記為人工智能生成的。

在 30 個(gè)人工智能生成的文本中，26%（即 8 個(gè)）將被正確標(biāo)記為人工智能生成的。

換句話說(shuō)，老師最終可能會(huì)將有 87+8=95 個(gè)文本標(biāo)記為人工智能生成的。事實(shí)上，其中只有 8 個(gè)是人工智能生成的。

Marcel Salathé 教授表示，當(dāng)工具為老師提供一個(gè)肯定的（即可能是人工智能生成的）結(jié)果時(shí)，該文本實(shí)際上是人工智能生成的概率只有 8.4%。其中絕大多數(shù)實(shí)際都是人類(lèi)生成的內(nèi)容。相反，大多數(shù)人工智能生成的文本（30 個(gè)中的 22 個(gè)）會(huì)被標(biāo)記為 "人類(lèi)寫(xiě)的 "驗(yàn)證結(jié)果通過(guò)。

整體而言，Marcel Salathé 直言，舉這個(gè)例子并不是對(duì)該工具進(jìn)行貶低或批評(píng)。因?yàn)楫?dāng)一款工具被研發(fā)出來(lái)的早期，準(zhǔn)確率需要在實(shí)驗(yàn)中不斷迭代優(yōu)化，這是一個(gè)必然的過(guò)程。

不過(guò)，他也呼吁，如果你是一名教師，并且你認(rèn)為剛剛得到了一個(gè)處理人工智能生成的工具，請(qǐng)注意，在當(dāng)前這個(gè)階段，這個(gè)工具在實(shí)踐中是相當(dāng)無(wú)用的。

OpenAI 回應(yīng)：正在改進(jìn)

正因此，OpenAI 也特別強(qiáng)調(diào)了 AI-Text-Classifier 并不能可靠地檢測(cè)出所有人工智能寫(xiě)的文本，僅是作為一個(gè)強(qiáng)有力的參考而存在，譬如用此工具鑒別學(xué)術(shù)論文等。

與此同時(shí)，OpenAI 也表示，面向教育工作者，AI 文本分類(lèi)器在課堂上有一定的限制和影響，因?yàn)槠湟呀?jīng)為教育工作者開(kāi)發(fā)了一個(gè)關(guān)于 ChatGPT 使用的初步資源（https://platform.openai.com/docs/chatgpt-education），其中概述了一些用途以及相關(guān)的限制和考慮。

目前這個(gè)分類(lèi)器已經(jīng)公開(kāi)，面向更多的用戶收集一些使用的反饋，OpenAI 稱，未來(lái)會(huì)逐步分享一些改進(jìn)的方法

寫(xiě)在最后

事實(shí)上，OpenAI 雖然提供了 ChatGPT 這樣的工具，但是它并不是第一家提供識(shí)別 AI 生成內(nèi)容工具的企業(yè)。

過(guò)去一段時(shí)間內(nèi)，在 ChatGPT 被用于生成原創(chuàng)文章、故事、歌詞、小說(shuō)等場(chǎng)景時(shí)，早已引發(fā)教師、藝術(shù)家、設(shè)計(jì)者的不滿，

為此，來(lái)自普林斯頓大學(xué)的學(xué)生開(kāi)發(fā)了 GPTZero，其此前分享道，已有超過(guò) 95000 人嘗試了他研發(fā)的 ChatGPT 檢測(cè)功能的測(cè)試版，用戶群體最盛的莫過(guò)于“教師”，他們有著令人難以置信的需求。另外，斯坦福大學(xué)也發(fā)布了DetectGPT，用來(lái)判斷文本是否由 AI 生成的。

如今 OpenAI 下場(chǎng)加入“反 ChatGPT”的戰(zhàn)局中，也讓不少網(wǎng)友評(píng)論道：

• 自己反自己，也相當(dāng)于把競(jìng)爭(zhēng)對(duì)手的路都給走了，就讓別人無(wú)路可走去吧~~

• 萬(wàn)萬(wàn)沒(méi)想到，作為大學(xué)生，還沒(méi)用上呢，就徹底無(wú)望了......

毋庸置疑的是，有這樣一款驗(yàn)證工具，確實(shí)可以減少很多行業(yè)的顧慮，尤其是對(duì)教育行業(yè)而言。你怎么看呢？歡迎留言分享你的看法。

參考：

https://digitalepi.substack.com/p/how-useful-is-openais-new-ai-detection

https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/