自從 OpenAI在2023 年2月推出 ChatGPT-3 出現在中國以來，似乎每個人都在談論 ChatGPT。國外某博主很早以前就域名主題采訪過ChatGPT，許多投資者正在該AI領域注冊域名，很多人也在收購二手域名，并且點名需要域名中帶AI的字母，其中一些已經出售。

在本文中，我將更深入地了解 GPT-3 是什么，GPT-3是如何工作的，以及它不能做什么。

目錄

一、ChatGPT 和 OpenAI的關系

二、 什么是 GPT-3？

三、GPT-3 的訓練內容是什么？

四、GPT-3 是如何工作的？

六、它不能做什么？

一、ChatGPT 和 OpenAI的關系

ChatGPT 是OpenAI的一款產品. 根據SimilarWeb ，由于對 ChatGPT 的興趣，OpenAI 已飆升至全球第 98 位頂級網站。

OpenAI 最初是一項利潤上限計劃，但已轉變為兩部分，即非營利性 OpenAI Incorporated 和營利性 OpenAI Limited Partnership。

OpenAI 成立于 2015 年，由一些投資者認捐了 10 億美元的啟動資金。您可以在此處閱讀有關OpenAI 歷史的更多信息，以及他們在OpenAI Charter上的章程。

Sam Altman是 OpenAI 的首席執行官。他早些時候曾擔任Y Combinator的總裁。

2023 年 1 月 23 日，Microsoft 和 OpenAI 宣布延長合作伙伴關系. 這包括一些 AI 計劃，并有望將 ChatGPT 集成到微軟產品 Bing、Word 和 PowerPoint 中。

ChatGPT 是作為免費開放產品推出的，但您需要注冊一個 OpenAI 帳戶。他們現在推出了每月 20 美元的ChatGPT Plus ，并且仍然提供受限免費版本。

二、什么是 GPT-3？

GPT 是自然語言處理 (NLP)的一個示例，該領域自 1950 年代以來一直很活躍。自然語言處理的關鍵思想是系統學會解釋對話提示，并以模仿人類反應方式的方式進行回復。 在過去十年中，NLP 的大部分發展都使用神經網絡進行機器學習。GPT-3 直到 2022 年 11 月 30 日由 OpenAI 發布 ChatGPT 才為公眾所熟知，但它早在 2020 年 7 月就處于 Beta 測試階段。

三、GPT-3 的訓練內容是什么？

GPT-3在大量材料上進行了預訓練。當你問它一個問題時，它不是在尋找答案，也不是傳統意義上的編碼。相反，它模仿了一個幾乎閱讀了所有內容、學習并內化了信息并開發了生成文本輸出的能力的人可能會如何回應。

那么GPT-3 是在什么基礎上進行預訓練的呢？這基本上包括所有維基百科，但只占其培訓的 3%。大約 6%來自兩大套數字化圖書內容。不過，最大的部分來自在線網絡的過濾爬網Common Crawl，占GPT-3 培訓材料的 60%。

四、GPT-3 是如何工作的？

在機器學習領域不斷發展的同時，該軟件非常擅長了解哪些術語以何種順序出現，因為它從“閱讀”中學到了很多，從統計學上講，最常見的單詞序列以及含義不同的安置。

這就是為什么它寫得如此流利——高效的作家通常閱讀很多，而且它已經“閱讀”了幾乎所有的數字化世界。以簡化的方式，生成意味著它在提示后生成文本方面做得很好。

它已經學會了按提示進行輸入，學會了處理語言，而不是僅僅知道每個單詞在上下文之外的意思。它學習語言和反應的方式很像嬰兒和兒童，或者你學習第二語言的方式。它注意到模式，并在訓練期間通過反復試驗，以“正確”的方式做出更好的響應。

五、GPT-3不能做什么？

事實上，它是預先訓練的，并且沒有主動連接到互聯網，這意味著，至少當前的 OpenAI ChatGPT 公式，在任何需要近乎實時信息的地方都失敗了。

它會出錯，在任何關鍵錯誤任務中都不應在沒有人工監督的情況下使用。當被要求撰寫帶有參考文獻的研究論文時，它不僅犯了一些錯誤，而且更糟糕的是有時似乎只是簡單地編造論文參考文獻。它可能所做的是報告參考資料，指出在線世界的某個地方被錯誤地報告了。同樣，當被問及某個類別的頂級域名銷售額時，它給出了一些不在 NameBio 中且顯然無效的結果。

但要了解 Chat GPT-3 最關鍵的局限性，有必要再次強調它是通過查看大量文本集合來學習的。在此過程中，它開發了在該文本中鍵入模式的能力，并將其應用于生成流暢的響應文本。小孩子也是這樣學習語言的。