1750億參數(shù),史上最大AI模子GPT-3上線:不僅會(huì)寫(xiě)文,答題,還懂?dāng)?shù)學(xué)

機(jī)器之心報(bào)道

機(jī)器之心編纂部

時(shí)隔一年，OpenAI 放出的預(yù)練習(xí)言語(yǔ)模子 GPT-3 再次讓人刮目相看。

「我們練習(xí)了 GPT-3，一種具有 1750 億參數(shù)的自回歸言語(yǔ)模子，這個(gè)數(shù)字比以往任何非希罕言語(yǔ)模子都多 10 倍。我們?cè)?few-shot 情況下測(cè)試了它的功能。」

本周五，OpenAI 提出的 GPT-3 在交際網(wǎng)絡(luò)上掀起了新一陣風(fēng)潮。它的參數(shù)目要比 2 月份剛剛推出的、舉世最大深度學(xué)習(xí)模子 Turing NLP 大上十倍，并且不僅可以更好地答題、翻譯、寫(xiě)文章，還帶有一些數(shù)學(xué)盤(pán)算的才能。如此強(qiáng)壯的深度學(xué)習(xí)，不由讓人產(chǎn)生一種錯(cuò)覺(jué)：真正的 AI 要來(lái)了嗎？

起首，GPT-3 最令人驚奇的照舊模子體量，它使用的最大數(shù)據(jù)集在處理前容量到達(dá)了 45TB。依據(jù) OpenAI 的算力統(tǒng)計(jì)單位 petaflops/s-days，練習(xí) AlphaGoZero 必要 1800-2000pfs-day，而 OpenAI 剛剛提出的 GPT-3 用了 3640pfs-day，看來(lái)?yè)碛形④洘o(wú)窮算力的 OpenAI，如今真的是為所欲為了。

研討者們渴望 GPT-3 可以成為更通用化的 NLP 模子，處理如今 BERT 等模子的兩個(gè)不敷之處：對(duì)范疇內(nèi)有標(biāo)志數(shù)據(jù)的太過(guò)依托，以及關(guān)于范疇數(shù)據(jù)分布的過(guò)擬合。GPT-3 努力于可以使用更少的特定范疇，不做 fine-tuning 處理成績(jī)。

和往常一樣，GPT-3 立刻放出了 GitHub 項(xiàng)目頁(yè)面，不外現(xiàn)在僅是一些天生樣本和數(shù)據(jù)集，還沒(méi)有代碼：
https://github.com/openai/gpt-3。

不外上傳的沒(méi)有那么快但是無(wú)可厚非，在 issue 里有人性出了原形：參數(shù)這么多，假如依照 GPT-2 十五億參數(shù)即是 6G 這么算的話，GPT-3 模子約莫要 700G，老硬盤(pán)還裝不下，不是正凡人能玩的轉(zhuǎn)的。

2019 年 3 月機(jī)器學(xué)習(xí)先驅(qū)，阿爾伯塔大學(xué)傳授 Richard S. Sutton 出名的文章《酸澀的教導(dǎo)》里開(kāi)篇就曾說(shuō)道：「70 年的人工智能研討史報(bào)告我們，使用盤(pán)算才能的尋常辦法終極是最好效的辦法。」

GPT-3 的提出大概會(huì)讓開(kāi)發(fā)者落淚，大學(xué)教師沉默，黃仁勛感受肩上擔(dān)子更重了。還記得幾周前線才完畢的 GTC 2020 嗎，英偉達(dá) CEO 的 Keynote 上有一頁(yè)講邇來(lái)幾年來(lái)人工智能范疇里最大的深度學(xué)習(xí)模子：

英偉達(dá)表現(xiàn)，自 2017 年底公布 Tesla V100 之后，練習(xí)最大模子的算力需求增長(zhǎng)了 3000 倍。在這內(nèi)里 GPT-2 也不在最高的地點(diǎn)了，微軟本年 2 月推出的 Turing NLG（170 億參數(shù)）、英偉達(dá)的 Megatron-BERT（80 億參數(shù)）排名前線。GPT-3 要放進(jìn)這個(gè)表里，標(biāo)準(zhǔn)表還要再向上挪一挪。

尚有網(wǎng)友吐槽，GPT-3 共 72 頁(yè)的論文長(zhǎng)度也令人絕望：

下一次更大的模子，論文長(zhǎng)度怕不是要破百了。

不外宏大的參數(shù)目帶來(lái)的文本天生后果也是頗為可觀的，讓我們來(lái)看看 GPT-3 畢竟能不克不及完成寫(xiě)訊息、寫(xiě)小說(shuō)，乃至寫(xiě)論文的才能吧。

GPT-3：我是 GPT-2 的「究極提高版」

2019 年初，OpenAI 公布了通用言語(yǔ)模子 GPT-2，可以天生連接的文本段落，在很多言語(yǔ)建模基準(zhǔn)上取得了 SOTA 功能。這一基于 Transformer 的大型言語(yǔ)模子共包含 15 億參數(shù)、在一個(gè) 800 萬(wàn)網(wǎng)頁(yè)數(shù)據(jù)集上練習(xí)而成。GPT-2 是對(duì) GPT 模子的直接擴(kuò)展，在超出 10 倍的數(shù)據(jù)量上舉行練習(xí)，參數(shù)目也多出了 10 倍。

但是，長(zhǎng)江后浪推前浪。昨日，OpenAI 公布 GPT-3 模子，1750 億參數(shù)目，足足是 GPT-2 的 116 倍。

GPT-3 的論文作者多達(dá) 31 人，來(lái)自 OpenAI、約翰霍普金斯大學(xué)的 Dario Amodei 等研討職員證實(shí)白在 GPT-3 中，關(guān)于一切職責(zé)，模子無(wú)需舉行任何梯度更新或微調(diào)，而僅經(jīng)過(guò)與模子的文本交互指定職責(zé)和少數(shù)示例即可取得很好的后果。

GPT-3 在很多 NLP 數(shù)據(jù)集上均具有出色的功能，包含翻譯、問(wèn)答和文本填空職責(zé)，這還包含一些必要即時(shí)推理或范疇順應(yīng)的職責(zé)，比如給一句話中的單詞交換成同義詞，或?qū)嵭?3 位數(shù)的數(shù)學(xué)運(yùn)算。

固然，GPT-3 也可以天生訊息報(bào)道的樣本，我們很難將機(jī)器寫(xiě)的文章與人類寫(xiě)的區(qū)分開(kāi)來(lái)。

訊息天生

據(jù)《華盛頓郵報(bào)》報(bào)道，顛末兩天的劇烈爭(zhēng)辯，團(tuán)結(jié)衛(wèi)理公會(huì)贊同了一次汗青性的崩潰：要么創(chuàng)建新教派，要么則在神學(xué)和社會(huì)心義上走向保守。大局部到場(chǎng)五月份教會(huì)年度聚會(huì)會(huì)議的代表投票同意加強(qiáng)任命 LGBTQ 神職職員的禁令，并訂定新的端正「懲戒」掌管同性婚禮的神職職員。但是反對(duì)這些辦法的人有一個(gè)新方案：2020 年他們將構(gòu)成一個(gè)新教派「基督教衛(wèi)理公會(huì)」。

《華盛頓郵報(bào)》指出，團(tuán)結(jié)衛(wèi)理公會(huì)是一個(gè)自稱擁有 1250 萬(wàn)會(huì)員的構(gòu)造，在 20 世紀(jì)初期是「美國(guó)最大的新教教派」，但是近幾十年來(lái)它不休在萎縮。這次新的崩潰將是該教會(huì)汗青上的第二次崩潰。第一次產(chǎn)生在 1968 年，事先約莫只剩下 10% 的成員構(gòu)成了「福音團(tuán)結(jié)弟兄會(huì)」。《華盛頓郵報(bào)》指出，目條件出的崩潰「關(guān)于多年來(lái)成員不休流失的團(tuán)結(jié)衛(wèi)理公會(huì)而言，來(lái)得正是時(shí)分」，這「在 LGBTQ 人物成績(jī)上將該教派推向了崩潰邊沿」。同性婚姻并不是崩潰該教會(huì)的唯一成績(jī)。2016 年，該教派因跨性別神職職員的任命而崩潰。北寧?kù)o洋地區(qū)聚會(huì)會(huì)議投票克制他們承繼神職職員，而南寧?kù)o洋地區(qū)聚會(huì)會(huì)議投票允許他們承繼神職職員。

這確定不是報(bào)刊記者撰寫(xiě)的短訊息嗎？

GPT-3 用才能報(bào)告你答案：不是。

給出標(biāo)題「團(tuán)結(jié)衛(wèi)理公會(huì)贊同這一汗青性崩潰」和子標(biāo)題「反對(duì)同性戀婚姻的人將創(chuàng)建本人的教派」，GPT-3 天生了上述訊息。

就問(wèn)你能不克不及看出來(lái)？橫豎我認(rèn)輸……

在 OpenAI 的測(cè)試中，人類評(píng)價(jià)職員也很難推斷出這篇訊息的真假，檢測(cè)準(zhǔn)確率僅為 12%。

不外，GPT-3 也有失手的時(shí)分。好比關(guān)于 GPT-3 天生的下列短篇，人類推斷真?zhèn)蔚臏?zhǔn)確率到達(dá)了 61%！

依據(jù) OpenAI 的統(tǒng)計(jì)，人類對(duì) GPT-3 175B 模子天生的約 500 詞文章的推斷準(zhǔn)確率為 52%，不外比擬于 GPT-3 control 模子（沒(méi)有語(yǔ)境和不休增長(zhǎng)的輸入隨機(jī)性且只具有 1.6 億參數(shù)的模子），GPT-3 175B 天生的文實(shí)質(zhì)量要高得多。公然很暴力啊！

「牙牙學(xué)語(yǔ)」，GPT-3 的造句才能

給出一個(gè)新單詞及其界說(shuō)，造出一個(gè)新句子。難嗎？這必要你了解單詞的意義及實(shí)用語(yǔ)境。OpenAI 研討者測(cè)試了 GPT-3 在這一職責(zé)上的才能：給出一個(gè)不存在的單詞（如「Gigamuru」），令 GPT-3 使用它造句。

我們來(lái)看 GPT-3 的天生后果：

給出新單詞「Gigamuru」（表現(xiàn)一種日本樂(lè)器）。

GPT-3 給出的句子是：叔叔送了我一把 Gigamuru，我喜幸而家彈奏它。

嚴(yán)絲合縫，十分公道，完善！

再看一個(gè)動(dòng)詞例子：

給出新單詞「screeg」（揮劍，擊劍）。

GPT-3 造出的句子是：我們玩了幾分鐘擊劍，然后出門(mén)吃冰淇淋。

也還不錯(cuò)。

接下去，我們?cè)賮?lái)看 GPT-3 的其他才能。

語(yǔ)法糾錯(cuò)

給出一句帶有語(yǔ)法錯(cuò)誤的話，讓 GPT-3 舉行修正。

第一個(gè)例子中，原句里有兩個(gè)并列的動(dòng)詞「was」和「died」，GPT-3 刪除系動(dòng)詞「was」，將其修正為準(zhǔn)確的句子。

第二個(gè)例子中，原句里 likes 后的 ourselves 是 we 的反身代詞，而這里 like 這一舉措的實(shí)行者是 Leslie，因此 likes 后即使要用反身代詞，也應(yīng)該是 himself，而另一個(gè)改法是將反身代詞改成 we 的賓格 us，即「我們以為 Leslie 喜好我們」。

Bingo！GPT-3 答對(duì)了。

看完 GPT-3 的糾錯(cuò)后果，真是英語(yǔ)教師欣喜，學(xué)生內(nèi)疚……

GPT-3 還能做盤(pán)算題？

不止英語(yǔ)教師欣喜，數(shù)學(xué)教師也跑不了。GPT-3 可以實(shí)行簡(jiǎn)便的盤(pán)算。

OpenAI 研討職員在以下 10 項(xiàng)職責(zé)中測(cè)試了 GPT-3 做簡(jiǎn)便盤(pán)算的才能，且無(wú)需任何職責(zé)特定的練習(xí)。

這十項(xiàng)職責(zé)分散是：兩位數(shù)加減法、三位數(shù)加減法、四位數(shù)加減法、五位數(shù)加減法、兩位數(shù)乘法，以及一位數(shù)殽雜運(yùn)算。

用于測(cè)試 GPT-3 盤(pán)算才能的十項(xiàng)職責(zé)。

在這十項(xiàng)職責(zé)中，模子必需天生準(zhǔn)確的答案。關(guān)于每項(xiàng)職責(zé)，該研討天生包含 2000 個(gè)隨機(jī)實(shí)例的數(shù)據(jù)集，并在這些實(shí)例上評(píng)價(jià)一切模子。

下圖展現(xiàn)了 GPT-3（few-shot）在這十項(xiàng)盤(pán)算職責(zé)上的功能。從圖中可以看到，小模子的功能較差，即使是擁有 130 億參數(shù)的模子（僅次于擁有 1750 億的 GPT-3 完備版模子）處理二位數(shù)加減法的準(zhǔn)確率也僅有 50% 支配，處理其他運(yùn)算的準(zhǔn)確率還不到 10%。

GPT-3 在多個(gè)言語(yǔ)建模職責(zé)中的體現(xiàn)

GPT-2 公布時(shí)在多個(gè)范疇特定的言語(yǔ)建模職責(zé)上完成了如今最佳功能。如今，我們來(lái)看參數(shù)和本錢(qián)多量增長(zhǎng)后的 GPT-3 后果怎樣。

OpenAI 在多項(xiàng)職責(zé)中對(duì) GPT-3 的功能舉行了測(cè)試，包含言語(yǔ)建模、補(bǔ)全、問(wèn)答、翻譯、知識(shí)推理、SuperGLUE 等職責(zé)。具體后果如下表所示：

不同模子在一切職責(zé)上的功能，以及職責(zé)的 SOTA 功能（包含模子范圍、練習(xí)細(xì)節(jié)等信息）。

GPT-3 武藝剖析

近期多量研討事情標(biāo)明，經(jīng)過(guò)對(duì)多量文本舉行預(yù)練習(xí)，并且針對(duì)特定職責(zé)舉行微調(diào)，模子的功能可以在很多 NLP 職責(zé)以及基準(zhǔn)測(cè)試中取得明顯提升。

邇來(lái)，OpenAI 團(tuán)隊(duì)練習(xí)了 GPT-3（這是一個(gè)具有 1750 億參數(shù)的自回歸言語(yǔ)模子，參數(shù)目是之上任何非希罕言語(yǔ)模子的 10 倍），并在少樣本（few-shot）情況下對(duì)其功能舉行了測(cè)試。在一切職責(zé)中，GPT-3 無(wú)需舉行任何分外的梯度更新或微調(diào)，完全只經(jīng)過(guò)模子與文本的交互，即可直接使用于特定職責(zé)與少樣本 demo。

GPT-3 在很多 NLP 數(shù)據(jù)集上均有出色的功能，包含翻譯、問(wèn)答和內(nèi)容添補(bǔ)職責(zé)，以及多項(xiàng)必要及時(shí)推理或域順應(yīng)的職責(zé)，如使用新單詞造句或?qū)嵭腥粩?shù)運(yùn)算等。GPT-3 天生的訊息文章足以以假亂真，令人類評(píng)價(jià)員難以區(qū)分。

不外，GPT-3 也有缺陷。該研討團(tuán)隊(duì)發(fā)覺(jué) GPT-3 (few-shot) 在文本構(gòu)成和多個(gè) NLP 數(shù)據(jù)集上的功能不夠好，還存在一些布局和算法上的缺陷。另一個(gè)言語(yǔ)模子大多會(huì)有的缺陷「預(yù)練習(xí)樣本聽(tīng)從較低」的成績(jī)它也有，GPT-3 在預(yù)練習(xí)時(shí)期閱讀的文本比人終身讀的還要多。別的，另有可表明性成績(jī)等。

預(yù)練習(xí)辦法

OpenAI 團(tuán)隊(duì)使用的基本預(yù)練習(xí)辦法包含模子、數(shù)據(jù)與練習(xí)三局部。GPT-3 的練習(xí)歷程與 GPT-2 相似，但對(duì)模子輕重、數(shù)據(jù)集輕重與多樣性、練習(xí)長(zhǎng)度都舉行了相對(duì)直接的擴(kuò)展。關(guān)于語(yǔ)境學(xué)習(xí)，GPT-3 相反使用了與 GPT-2 相似的辦法，不外 GPT-3 研討團(tuán)隊(duì)體系地探究了不同的語(yǔ)境學(xué)習(xí)設(shè)定。

OpenAI 團(tuán)隊(duì)明白地界說(shuō)了用于評(píng)價(jià) GPT-3 的不同設(shè)定，包含 zero-shot、one-shot 和 few-shot。

Fine-Tuning (FT)：微調(diào)是近幾年來(lái)最為常用的辦法，觸及在希冀職責(zé)的特定命據(jù)集上更新顛末預(yù)練習(xí)模子的權(quán)重；

Few-Shot (FS)：在該研討中指與 GPT-2 相似的，在推理階段為模子提供少數(shù)職責(zé)演示，但不允許更新網(wǎng)絡(luò)權(quán)重的情況；

One-Shot (1S)：?jiǎn)螛颖九c小樣本相似，不同的是除了對(duì)職責(zé)的天然言語(yǔ)形貌外，僅允許提供一個(gè)職責(zé)演示；

Zero-Shot (0S)：零次樣本除了不允許有任何演示外與單樣本相似，僅為模子提供用于形貌職責(zé)的天然言語(yǔ)指示。

zero-shot、one-shot、few-shot 設(shè)置與傳統(tǒng)微調(diào)辦法的比力。

上圖以英-法翻譯職責(zé)為例，展現(xiàn)了四種辦法。該研討將重點(diǎn)放在 zero-shot、one-shot 和 few-shot 上，其目標(biāo)并非將它們作為競(jìng)品舉行比力，而是作為不同的成績(jī)?cè)O(shè)置。OpenAI 團(tuán)隊(duì)特別重申了 few-shot 后果，由于此中很多后果僅僅略微遜色于 SOTA 微調(diào)模子。不外，用 one-shot 乃至偶爾是 zero-shot 與人類水平舉行比力仿佛最為公平，這也是將來(lái)事情的緊張目標(biāo)之一。

模子和架構(gòu)

該研討使用了和 GPT-2 相反的模子和架構(gòu)，包含改良的初始設(shè)置、預(yù)歸一化和 reversible tokenization。區(qū)別在于 GPT-3 在 transformer 的各層上都使用了瓜代茂密和局部帶狀希罕的注意力形式，相似于 Sparse Transformer [CGRS19]。

為了研討功能對(duì)模子輕重的依托性，該研討練習(xí)了 8 種不同的模子輕重，涵蓋 3 個(gè)數(shù)目級(jí)，從 1.25 億參數(shù)到 1750 億個(gè)參數(shù)不等，具有 1750 億個(gè)參數(shù)的模子即為 GPT-3。

先前的研討 [KMH+20] 標(biāo)明，在有充足練習(xí)數(shù)據(jù)的情況下，驗(yàn)證喪失的縮放比例應(yīng)該近似為模子輕重的平滑冪律函數(shù)。這項(xiàng)研討練習(xí)了多個(gè)不同輕重的模子，這使得研討者可以對(duì)驗(yàn)證喪失和卑劣言語(yǔ)職責(zé)查驗(yàn)該假定。

表 2.1 展現(xiàn)了 8 個(gè)模子的輕重和架構(gòu)。這里 n_params 表現(xiàn)可練習(xí)參數(shù)總量，n_layers 表現(xiàn)層數(shù)，d_model 表現(xiàn)每個(gè)瓶頸層中的單位數(shù)目（在該研討中前饋層總是瓶頸層輕重的 4 倍，即 d_ff = 4 ? d_model），d_head 表現(xiàn)每個(gè)注意力頭的維度。一切的模子均使用 n_ctx = 2048 tokens 的語(yǔ)境窗口。

表 2.1：該研討所練習(xí) 8 個(gè)模子的輕重、架構(gòu)和超參數(shù)信息。一切模子一共使用了 3000 億 token。

為了最大水平地縮末節(jié)點(diǎn)之間的數(shù)據(jù)傳輸，該研討從深度和寬度兩個(gè)朝向舉行跨 GPU 模子支解。然后基于跨 GPU 模子布局的盤(pán)算聽(tīng)從和負(fù)載均衡選擇每個(gè)模子準(zhǔn)確的架構(gòu)參數(shù)。先前的研討 [KMH+20] 標(biāo)明，在公道范圍內(nèi)，驗(yàn)證喪失對(duì)這些參數(shù)并不是特別敏感。

練習(xí)數(shù)據(jù)集

下表先容了 GPT-3 練習(xí)歷程中所用的數(shù)據(jù)集。

表 2.2：用于練習(xí) GPT-3 的數(shù)據(jù)集。

OpenAI：但是我們也有點(diǎn)玩不起了

最開(kāi)頭是練習(xí)不動(dòng)，厥后 finetune 不起，如今到了 GPT-3 模子的年代，我們連 forward 也要不起了。

你一定想問(wèn)如此一個(gè)成績(jī)：練習(xí) GPT-3 模子必要花幾多錢(qián)？我們現(xiàn)在還只能大略地估測(cè)——練習(xí)一個(gè) BERT 模子租用云算力要花約莫 6912 美元，練習(xí) GPT-2 每小時(shí)要破費(fèi) 256 美元，但 OpenAI 不休沒(méi)有泄漏一共要花幾多小時(shí)。

比擬之下，GPT-3 必要的算力（flops）是 BERT 的 1900 多倍，以是這個(gè)數(shù)字應(yīng)該是萬(wàn)萬(wàn)美元級(jí)別的，致使于研討者在論文第九頁(yè)說(shuō)：我們發(fā)覺(jué)了一個(gè) bug，但沒(méi)錢(qián)再去重新練習(xí)模子，以是先就這么算了吧。

但即使如此它的后果仍然驚人。

GPT-3 的實(shí)行后果，仿佛驗(yàn)證了 Richard Sutton 客歲頗具爭(zhēng)議的結(jié)論，他在《酸澀的教導(dǎo)》的最初寫(xiě)道：「我們應(yīng)該從酸澀的教導(dǎo)中學(xué)到一點(diǎn)：通用辦法十分強(qiáng)壯，這類辦法會(huì)隨著算力的增長(zhǎng)而持續(xù)擴(kuò)展，搜刮和學(xué)習(xí)仿佛正是如此的辦法。」

關(guān)于 GPT-3 的更多具體，參見(jiàn)論文：
https://arxiv.org/abs/2005.14165