來(lái)源：新智元
(相關(guān)資料圖)
終于，AI檢測(cè)器總算是被OpenAI給憋出來(lái)了。
群眾的討伐聲浪一重又一重，OpenAI終于頂不住了。
從大學(xué)教授，到Stack Overflow，可謂是苦ChatGPT久矣。現(xiàn)在，無(wú)論是老師看到學(xué)生提交的論文，還是碼農(nóng)看到網(wǎng)上的代碼，都不敢確定作者是人還是AI。
口誅筆伐之下，OpenAI頂不住了，火速發(fā)布了一款A(yù)I檢測(cè)器。
左右互搏：OpenAI發(fā)布ChatGPT檢測(cè)器剛剛，OpenAI官宣了自家的AI文本分類(lèi)器。
它是一個(gè)經(jīng)過(guò)微調(diào)的GPT模型，可以推斷一段文本由AI產(chǎn)生的可能性。
有趣的是，ChatGPT也是基于GPT模型，用這個(gè)分類(lèi)器檢測(cè)ChatGPT，堪稱(chēng)左右互搏。
在訓(xùn)練上，這個(gè)模型采用的是同一主題下的人類(lèi)手寫(xiě)和AI生成的文本對(duì)。
用到的素材來(lái)自于維基百科數(shù)據(jù)集、2019年收集的WebText數(shù)據(jù)集，以及在訓(xùn)練InstructGPT時(shí)收集的一組人類(lèi)演示。
但是吧，這個(gè)正確率著實(shí)不高……
在評(píng)估「挑戰(zhàn)集」中的英語(yǔ)文本時(shí)，分類(lèi)器只將26%的AI生成文本正確地歸類(lèi)為「可能是AI寫(xiě)的」（真陽(yáng)性）。
「撩妹神器」還靈不？毫無(wú)疑問(wèn)，ChatGPT正在全世界掀起一股颶風(fēng)。
學(xué)生們紛紛用得不亦樂(lè)乎，媒體驚呼「教育系統(tǒng)」已經(jīng)被顛覆，最近的調(diào)查顯示，已經(jīng)有89%的大學(xué)生用ChatGPT寫(xiě)作業(yè)了。
此外，它還通過(guò)了美國(guó)醫(yī)學(xué)執(zhí)照考試、沃頓商學(xué)院MBA考試和4門(mén)法學(xué)院的考試，能力簡(jiǎn)直要通天；美版「頭條」BuzzFeed宣布要用ChatGPT寫(xiě)文的消息后，股價(jià)瘋狂暴漲119%。
而妙筆生花的文采，也讓ChatGPT被很多小哥奉為「撩妹神器」。
雖然做數(shù)學(xué)題不太靈，但想要讓它寫(xiě)下一篇文采斐然、深情款款的情書(shū)，那可真是so easy。
這不，國(guó)外的這位小哥，就沉迷于用ChatGPT給老婆Monika寫(xiě)情書(shū)。
然而Monika早已看穿他的套路，警告他別再沉迷ChatGPT無(wú)法自拔。
還有玩得大的哥們，把ChatGPT生成的情書(shū)發(fā)給了好基友，好基友直接一臉黑人問(wèn)號(hào)。
雖然但是，可以看出，ChatGPT的文采相當(dāng)不錯(cuò)。論文、情書(shū)、小說(shuō)，ChatGPT都不在話(huà)下。難怪大家都在瘋狂用ChatGPT「造文」。
那OpenAI發(fā)布的官方AI檢測(cè)器，究竟有多管用呢？
咱們來(lái)實(shí)測(cè)一下。
先試一試Monika的老公發(fā)給她的情詩(shī)。
然而遺憾的是，OpenAI表示自己只能檢測(cè)1000字符以上的文章，愛(ài)莫能助……
翻譯一下：至少需要1000字符，也就是150-250個(gè)英文單詞。而對(duì)于中文來(lái)說(shuō)，就只能是「千字長(zhǎng)文」了。
的確，OpenAI的官方公告里也說(shuō)，「分類(lèi)器對(duì)于短文本（少于 1,000 個(gè)字符）的檢測(cè)非常不可靠。甚至更長(zhǎng)的文本有時(shí)會(huì)被分類(lèi)器錯(cuò)誤地標(biāo)記。」
除此之外，OpenAI的檢測(cè)器還有幾個(gè)「限制」：
分類(lèi)器并不總是準(zhǔn)確的，它可能會(huì)錯(cuò)誤地標(biāo)記AI生成的和人類(lèi)寫(xiě)的文本，并且語(yǔ)氣很自信
建議僅對(duì)英文文本使用分類(lèi)器。它在其他語(yǔ)言上的表現(xiàn)要差得多，并且在代碼上不可靠
它無(wú)法可靠地識(shí)別非常可預(yù)測(cè)的文本。例如，無(wú)法預(yù)測(cè)前1000個(gè)素?cái)?shù)的列表是由AI還是人類(lèi)寫(xiě)的，因?yàn)檎_答案總是相同的
AI生成的文本，經(jīng)過(guò)編輯之后很可能會(huì)規(guī)避掉分類(lèi)器的檢測(cè)
如果輸入與訓(xùn)練集中的文本有很大的區(qū)別，分類(lèi)器會(huì)做出錯(cuò)誤判斷
既然檢測(cè)器要長(zhǎng)文，那咱們就給它個(gè)長(zhǎng)的。小編組合了一篇王小波情書(shū)選段，全文共1027個(gè)字。
輸入檢測(cè)器后，它給出了判斷：這篇情書(shū)是人類(lèi)寫(xiě)的。Bingo！
然后，小編又讓ChatGPT模仿王小波，生成新的情書(shū)。
可以看到，ChatGPT寫(xiě)的情書(shū)文采還行，但比起大作家的文字，它真的沒(méi)有「靈魂」。
而檢測(cè)器也準(zhǔn)確測(cè)出來(lái)，這封情書(shū)大概率就是AI生成的。
結(jié)果的劃分超細(xì)具體來(lái)說(shuō)，分類(lèi)器會(huì)將輸入文本分為五類(lèi)：
「非常不可能是AI生成的」（Very unlikely to be AI-generated）
分類(lèi)器的閾值<0.1。在「挑戰(zhàn)集」集中，大約5%的手寫(xiě)文本和2%的AI生成文本有這個(gè)標(biāo)注。
「不太可能是AI生成的」（Unlikely to be AI-generated）
分類(lèi)器的閾值在0.1到0.45之間。在「挑戰(zhàn)集」中，大約15%的手寫(xiě)文本和10%的AI生成文本有這個(gè)標(biāo)注。
「不清楚是否是AI寫(xiě)的」（Unclear if it is AI writte）
分類(lèi)器的閾值在0.45到0.9之間。在「挑戰(zhàn)集」中，大約50%的手寫(xiě)文本和34%的AI生成文本有這個(gè)標(biāo)注。
「可能是AI生成的」（Possibly AI-generated）
分類(lèi)器的閾值在0.9到0.98之間。在「挑戰(zhàn)集」中，大約21%的手寫(xiě)文本和28%的AI生成文本有這個(gè)標(biāo)注。
「很可能是AI生成的」（Likely AI-generated）
分類(lèi)器的閾值>0.98。在「挑戰(zhàn)集」中，大約9%的手寫(xiě)文本和26%的AI生成文本有這個(gè)標(biāo)注。
可靠性有待加強(qiáng)雖然分類(lèi)器可以識(shí)別大部分AI生成的文本，但OpenAI提醒稱(chēng)，它并不「完全可靠」。
在曲線(xiàn)下面積（AUC）測(cè)試中，分類(lèi)器在驗(yàn)證集中達(dá)到了0.97分，在挑戰(zhàn)集中達(dá)到了0.66分，而此前公布的分類(lèi)器在驗(yàn)證集中達(dá)到了0.95分，在挑戰(zhàn)集中達(dá)到了0.43分。
此外，隨著語(yǔ)言模型規(guī)模的增大，分類(lèi)器的性能出現(xiàn)了下降。
但好消息是，這意味著大型語(yǔ)言模型所生成的文本，更像人類(lèi)寫(xiě)的。
同時(shí)，OpenAI還特別指出，這個(gè)分類(lèi)器還沒(méi)有在謠言、學(xué)生作文或聊天記錄上進(jìn)行評(píng)估；也沒(méi)有在AI和人類(lèi)共同撰寫(xiě)的文本上進(jìn)行測(cè)試，而這也是現(xiàn)在最常見(jiàn)的使用場(chǎng)景之一。
這么看來(lái)，還是普林斯頓大學(xué)那位22歲華人小哥開(kāi)發(fā)的GPTZero更人性化一些。
不僅只需250個(gè)字符，而且還能明確地指出一段文字中，哪段是AI生成的，哪段是人類(lèi)寫(xiě)的。
AIGC大廠(chǎng)自研「AI檢測(cè)器」實(shí)測(cè)在OpenAI發(fā)布官方「AI檢測(cè)器」以前，市面上早就有了多款A(yù)I檢測(cè)器。
來(lái)自美國(guó)的作家和計(jì)算機(jī)科學(xué)家David Gewirtz，就親自測(cè)試了三款在線(xiàn)AI檢測(cè)器。
這里最有趣的一點(diǎn)在于，其中有兩個(gè)都是販賣(mài)AI生成文本的網(wǎng)站自己做的。
注意：人寫(xiě)的是普通字體，AI生成的是斜體。每段文字后，會(huì)顯示檢測(cè)器的結(jié)果。（實(shí)際輸入檢測(cè)器的文本都是英文文字，本文為翻譯后的結(jié)果）。
順便一提，這位David Gewirtz還是FBI InfraGard的成員，以及美國(guó)重要的網(wǎng)絡(luò)安全專(zhuān)家之一。此前，他曾在伍斯特理工學(xué)院以?xún)?yōu)異的成績(jī)獲得理學(xué)士學(xué)位，但在加州大學(xué)伯克利分校讀博士時(shí)退學(xué)。
測(cè)試開(kāi)始！1. 解釋為什么ChatGPT造成的抄襲會(huì)給教師和編輯帶來(lái)困擾
ChatGPT是OpenAI開(kāi)發(fā)的GPT（Generative Pre-trained Transformer）語(yǔ)言模型的一個(gè)變體。它被設(shè)計(jì)為通過(guò)預(yù)測(cè)給定輸入序列中的下一個(gè)單詞或短語(yǔ)，來(lái)生成類(lèi)似人類(lèi)的文本。雖然ChatGPT可以成為生成文本和響應(yīng)提示的有用工具，但在涉及到抄襲時(shí)，它也會(huì)給教師和編輯帶來(lái)問(wèn)題。
ChatGPT會(huì)給教師和編輯帶來(lái)問(wèn)題的主要原因之一是，它可以生成與真實(shí)人類(lèi)非常相似的文本。這意味著人們有可能使用ChatGPT生成文本，然后將其作為自己的作品提交，從而犯下抄襲的錯(cuò)誤。
對(duì)于教師和編輯來(lái)說(shuō)，檢測(cè)一段特定的文本是由ChatGPT生成的還是由人寫(xiě)的，可能非常困難，因?yàn)樯傻奈谋究赡懿话魏蚊黠@的錯(cuò)誤或差異，能讓人辨別出它的來(lái)源。這可能會(huì)使教師和編輯難以識(shí)別和防止抄襲，因?yàn)樗麄兛赡軣o(wú)法分辨出某段文字是原創(chuàng)的，還是從其他來(lái)源復(fù)制的。
總的來(lái)說(shuō)，ChatGPT和其他類(lèi)似的語(yǔ)言模型在涉及到抄襲時(shí)，可能會(huì)成為教師和編輯的問(wèn)題，因?yàn)樗鼈兛梢陨呻y以區(qū)分的文本，使人們更容易進(jìn)行抄襲，而不被發(fā)現(xiàn)。
GPT-2 Output Detector：99.69%真的。
Writer?AI?Content Detector：97%是人類(lèi)生成的內(nèi)容，妙不可言！
Content at Scale?AI?Content Detection：87%人類(lèi)得分，看起來(lái)不錯(cuò)！
2. 告訴我至少三種方法，用來(lái)檢測(cè)一篇文章是否是用ChatGPT生成的
有幾種方法可以檢測(cè)出ChatGPT或其他語(yǔ)言模型是否被用于生成一段文本。以下是你可以使用的三種潛在方法。
1. 尋找文本中的重復(fù)或異常模式：檢測(cè)一個(gè)語(yǔ)言模型是否被用來(lái)生成一段文本的方法之一，是尋找寫(xiě)作中的重復(fù)或不尋常的模式。例如，語(yǔ)言模型可能會(huì)重復(fù)某些短語(yǔ)或單詞組合，或使用不尋常或不一致的句子結(jié)構(gòu)。
2. 檢查是否缺乏原創(chuàng)性：另一種檢測(cè)語(yǔ)言模型是否被用來(lái)生成一段文本的方法，是檢查寫(xiě)作中是否缺乏原創(chuàng)性。如果一段文本看起來(lái)是從其他來(lái)源復(fù)制的，或者如果它包含在互聯(lián)網(wǎng)上或其他來(lái)源中廣泛存在的信息，這可能就表明，它是由語(yǔ)言模型生成的。
3. 使用抄襲檢查器：最后，你可以使用抄襲檢查器，來(lái)檢查一段文字是否是從另一個(gè)來(lái)源抄襲的。雖然抄襲檢查器可能無(wú)法明確確定文中是否使用了語(yǔ)言模型，但它可以幫助你識(shí)別從其他來(lái)源抄襲或轉(zhuǎn)述的情況。
請(qǐng)記住，要明確地確定是否使用了語(yǔ)言模型來(lái)生成一段文本是很困難的，這些方法并不總是有效。然而，它們可以成為有用的工具，幫助你識(shí)別語(yǔ)言模型生成文本的潛在實(shí)例。
GPT-2 Output Detector：99.98%假的。
Writer?AI?Content Detector：「無(wú)結(jié)果」。
Content at Scale?AI?Content Detection：0%人類(lèi)得分，顯然是AI。
3. 列出三個(gè)可以檢測(cè)ChatGPT文本的抄襲檢查器
值得注意的是，目前還沒(méi)有專(zhuān)門(mén)的抄襲檢查器，用于檢測(cè)由ChatGPT或其他語(yǔ)言模型生成的文本。雖然一些抄襲檢查器可能能夠識(shí)別語(yǔ)言模型生成文本的某些特征，從而證明文本來(lái)自AI，但不能保證它們能夠明確地確定，一段文本是否是由語(yǔ)言模型生成的。
因此，這里有三個(gè)抄襲檢查器，你可以考慮使用它們，來(lái)幫助識(shí)別語(yǔ)言模型生成文本的潛在實(shí)例：
1. Turnitin：Turnitin是一個(gè)流行的抄襲檢查器，被學(xué)校和大學(xué)廣泛使用。它將一段文本與其他文本的數(shù)據(jù)庫(kù)進(jìn)行比較，以確定是否文本是否是抄襲或轉(zhuǎn)述的。雖然它可能無(wú)法明確地確定一段文本是否由語(yǔ)言模型生成，但它有可能識(shí)別出語(yǔ)言模型生成文本的某些特征，從而證明它是由AI生成的。
2. PlagScan：PlagScan是另一個(gè)抄襲檢查器，它將一段文本與其他文本的數(shù)據(jù)庫(kù)進(jìn)行比較，以識(shí)別抄襲或轉(zhuǎn)述的情況。與Turnitin一樣，它可能能夠識(shí)別語(yǔ)言模型生成文本的某些特征，這些特征可能表明文本是AI生成的，但它不是專(zhuān)門(mén)用來(lái)檢測(cè)語(yǔ)言模型生成文本的工具。
3. Copyleaks：Copyleaks是一個(gè)抄襲檢查器，它使用先進(jìn)的機(jī)器學(xué)習(xí)算法來(lái)掃描一段文本，并將其與其他文本的數(shù)據(jù)庫(kù)進(jìn)行比較，以識(shí)別抄襲或轉(zhuǎn)述的情況。雖然它可能能夠識(shí)別語(yǔ)言模型生成文本的某些特征，但它不是專(zhuān)門(mén)為檢測(cè)語(yǔ)言模型生成文本而設(shè)計(jì)的。
值得注意的是，沒(méi)有任何一個(gè)抄襲檢查器是完全萬(wàn)無(wú)一失的，總有一些語(yǔ)言模型生成的文本能夠逃過(guò)檢測(cè)。因此，重要的是，使用抄襲檢查器只能是一個(gè)補(bǔ)充手段。
GPT-2 Output Detector：99.62%真的。
Writer?AI?Content Detector：「無(wú)結(jié)果」。
Content at Scale?AI?Content Detection：86%人類(lèi)得分，看起來(lái)不錯(cuò)！
4. 在線(xiàn)人工智能抄襲檢查器
大多數(shù)抄襲檢測(cè)器的原理，是將文本與其他語(yǔ)料庫(kù)進(jìn)行比較。例如，當(dāng)學(xué)生交出一篇論文時(shí)，像Turnitin這樣的產(chǎn)品會(huì)對(duì)照其數(shù)據(jù)庫(kù)中巨大的論文庫(kù)，以及互聯(lián)網(wǎng)上的其他文本，以確定提交的論文是否包含已經(jīng)寫(xiě)好的內(nèi)容。
但AI寫(xiě)作工具會(huì)產(chǎn)生原創(chuàng)內(nèi)容，至少在理論上如此。是的，它們會(huì)從訓(xùn)練的數(shù)據(jù)集中構(gòu)建內(nèi)容，但它們創(chuàng)造出的詞語(yǔ)，在每篇文章中都是獨(dú)特的。
因此，上面提到的抄襲檢查器可能不會(huì)起作用，因?yàn)锳I生成的內(nèi)容并不太可能存在于另一個(gè)學(xué)生的論文中。
因此，我在谷歌上搜索了專(zhuān)門(mén)用于尋找AI生成內(nèi)容的檢測(cè)器。我找到了三個(gè)。對(duì)于下面截圖中的測(cè)試內(nèi)容，我向ChatGPT提出了這個(gè)問(wèn)題：「《星際迷航》比《星球大戰(zhàn)》好嗎？」它的答案一點(diǎn)也不差，我把這個(gè)答案反饋給三個(gè)檢測(cè)器。
GPT-2 Output Detector：99.98%真的。
Writer?AI?Content Detector：100%是人類(lèi)生成的內(nèi)容，太棒了！
Content at Scale?AI?Content Detection：100%人類(lèi)得分，看起來(lái)很好！
結(jié)果評(píng)價(jià)省流：
OpenAI此前針對(duì)GPT-2打造的檢測(cè)器，時(shí)不時(shí)會(huì)被新模型生成的內(nèi)容欺騙。
由那些販賣(mài)AI生成內(nèi)容的公司打造的「檢測(cè)器」，基本上都不咋靠譜。
1. GPT-2 Output Detector（準(zhǔn)確率66%）
GPT-2 Output Detector是OpenAI自己搞出來(lái)的「查重」工具。
雖然最初是為GPT-2打造的，但現(xiàn)在拿來(lái)檢測(cè)各種由AI生成的文本，也能獲得不錯(cuò)的效果。在共計(jì)六次的測(cè)試中，它答對(duì)了其中的四個(gè)。
2. Writer?AI?Content Detector （準(zhǔn)確性33%）
Writer.com主要是為企業(yè)團(tuán)隊(duì)提供生成式AI寫(xiě)作服務(wù)，其中一個(gè)名為「AI內(nèi)容檢測(cè)器」的工具，可用于判斷內(nèi)容是否是AI生成的。
但不幸的是，這個(gè)工具非常不可靠。在共計(jì)六次的測(cè)試中，它只成功運(yùn)行了三次……而在這僅有的三次結(jié)果中，有兩次判斷正確，一次判斷錯(cuò)誤。
3. Content at Scale?AI?Content Detection（準(zhǔn)確率50%）
第三個(gè)工具也是由一個(gè)AI內(nèi)容生成公司制作的，從結(jié)果上來(lái)看比剛才那個(gè)要靠譜不少，但整體效果還是一般。
Content at Scale的營(yíng)銷(xiāo)口號(hào)是：「只需上傳一個(gè)關(guān)鍵詞列表，就能獲得繞過(guò)AI內(nèi)容檢測(cè)的文章——所有這些都不需要人工干預(yù)！」在共計(jì)六次的測(cè)試中，它有三次是準(zhǔn)確的。
一些思考（AI也有參與lol）AI導(dǎo)致的抄襲已經(jīng)日趨嚴(yán)重了，因?yàn)橄馧otion AI和ChatGPT這樣的AI，生成的文本和人類(lèi)所寫(xiě)的幾乎難以區(qū)分。
有幾種方法可以檢測(cè)出一段文本是否由AI生成，例如尋找重復(fù)或不尋常的模式，檢查是否缺乏原創(chuàng)性，或使用抄襲檢查器。
像Turnitin、PlagScan和Copyleaks這樣的剽竊檢查器，可能能夠識(shí)別語(yǔ)言模型生成文本的某些特征，但它們并非萬(wàn)無(wú)一失。
在這一點(diǎn)上，我們可能還沒(méi)有準(zhǔn)備好讓AI對(duì)抗AI。相反，我們依然需要依靠人類(lèi)的感知，來(lái)識(shí)別某個(gè)作品是不是由AI生成的。
對(duì)此，你怎么看呢？
你是否用過(guò)這些AI工具？又是否能分辨出一篇文章到底是不是由AI生成的？你覺(jué)得它們對(duì)產(chǎn)業(yè)是幫助還是阻礙？
歡迎大家到文末留言。
以下是ChatGPT的回答：
作為一個(gè)語(yǔ)言模型，我無(wú)法看到，所以我無(wú)法判斷一篇文章是否是AI生成的。
但是，我可以告訴你，現(xiàn)在有幾個(gè)AI寫(xiě)作工具，它們可以用來(lái)生成各種各樣的書(shū)面內(nèi)容，包括新聞文章、小說(shuō)、詩(shī)歌等等。
我沒(méi)有使用這些工具的個(gè)人經(jīng)驗(yàn)，因?yàn)槲抑皇且粋€(gè)電腦程序，沒(méi)有能力瀏覽互聯(lián)網(wǎng)或使用實(shí)體工具。然而，我可以告訴你，有些人發(fā)現(xiàn)AI寫(xiě)作工具對(duì)教育和新聞業(yè)很有幫助，因?yàn)樗鼈兛梢酝ㄟ^(guò)自動(dòng)完成某些任務(wù)，來(lái)節(jié)省人們的時(shí)間和精力。其他人則對(duì)這些工具可能被用來(lái)制作誤導(dǎo)性或有偏見(jiàn)的內(nèi)容，或取代人類(lèi)作家表示擔(dān)憂(yōu)。
歸根結(jié)底，AI寫(xiě)作工具是幫助還是阻礙，取決于它們的使用方式和使用環(huán)境。所以，是的，就是這樣。
在這個(gè)過(guò)程中，David發(fā)現(xiàn)了很有趣的一點(diǎn)：不要一在網(wǎng)上看到某些蠢話(huà)，或者不正確的話(huà)，就立即認(rèn)為這是AI寫(xiě)的。
David表示，眾所周知，人類(lèi)是完全有能力自己寫(xiě)出垃圾內(nèi)容的。
畢竟，不管生成內(nèi)容的是人還是機(jī)器，愚蠢向來(lái)是一種普遍特征。
關(guān)鍵詞：
10天超2500萬(wàn)玩家 《守望先
影史第二春節(jié)檔驗(yàn)證市場(chǎng)回暖
股票投資收益包括哪些（炒股
網(wǎng)經(jīng)社朱秋城：跨境電商數(shù)據(jù)
48小時(shí)點(diǎn)擊排行
