HAT:人工智能教父Hinton：關于ChatGPT與AI發展的11個核心觀點

來源：AI商業研究所

導讀：

GeoffreyHinton被稱為“人工智能教父”，從上世紀80年代開始研究神經網絡，是這個領域從業時間最長的人。

他曾獲得2018年的圖靈獎，是“深度學習三巨頭”之一，是AI史上最重要的學者之一，論文被引用了50多萬次。

他的父親HowardEverestHinton是英國昆蟲學家，母親Margaret是一名教師，他們都是共產主義者。他的叔叔是著名的經濟學家ColinClark，發明了“國民生產總值”這個經濟術語，他的高祖父是著名的邏輯學家GeorgeBoole，他發明的布爾代數奠定了現代計算機科學的基礎。

在厚重的科學家家族底蘊熏陶下，Hinton從小擁有獨立思考能力以及堅韌品質，并且肩負著繼承家族榮譽的擔子。1973年，在英國愛丁堡大學，他師從LangerHiggins攻讀人工智能博士學位，但那時幾乎沒人相信神經網絡，導師也勸他放棄研究這項技術。周遭的質疑并不足以動搖他對神經網絡的堅定信念，在隨后的十年，他接連提出了反向傳播算法、玻爾茲曼機，不過他還要再等數十年才會等到深度學習迎來大爆發，到時他的這些研究將廣為人知。

他曾經和他帶的兩位博士生創立了一家AI公司，后來賣給了Google，他本人也進入Google擔任首席科學家，參與了谷歌大腦。

他有很多學生在大廠擔任首席科學家。他的學生Ilya，在他的研究基礎上，用ChatGPT證明了Hinton的技術路線，這個路線始于上世紀80年代，直到最近幾年大眾才看到這條路上的金礦。

本文是Hinton關于ChatGPT和AI發展的訪談內容整理而成。供參考。

01、如果不了解大腦，我們永遠無法理解人類

在70年代，有一種時髦的觀點認為，你可以在不關心大腦的情況下做到這一點，我認為不可能，必須了解大腦是如何運作的。

在AI領域，有兩種思路。一種是主流AI，另一種是關于神經網絡的。主流AI認為，AI是關于推理和邏輯的，而神經網絡則認為，我們最好研究生物學，因為那些才是真正有效的東西。所以，主流AI基于推理和邏輯制定理論，而我們基于神經元之間的連接變化來學習制定理論。從長遠來看，我們取得了成功，但短期內看起來有點無望。

阿里巴巴將支持Meta的人工智能模型Llama:金色財經報道，阿里巴巴將成為第一家利用Meta的開源人工智能(AI)模型Llama來支持程序零成本開發的中國公司。其云計算部門已經部署了基于Llama2的解決方案，允許企業使用人工智能開發軟件和工具。

Meta的Llama2模型于2023年7月作為免費使用服務發布。Meta打算允許月活躍用戶少于7億的公司免費使用Llama2。Meta的聲明強調，微軟仍然是其開發生成式AI工具的首選合作伙伴，而Llama2將免費用于研究和商業用途。[2023/7/26 15:59:57]

神經網絡在20世紀80年代沒有真正奏效的原因是，計算機運行速度不夠快，數據集不夠大。然而，在80年代，一個重要的問題是，一個擁有大量神經元的大型神經網絡，計算節點和它們之間的連接，僅通過改變連接的強度，從數據中學習，而沒有先驗知識，這是否可行？主流AI的人認為這完全荒謬。

但它確實可行。因為大腦就是這樣，經過學習，我們能完成沒有進化出來的技能，比如閱讀。閱讀對我們來說是非常新的，我們沒有足夠的進化時間來適應它。但我們可以學會閱讀，我們可以學會數學。所以一定有一種在這些神經網絡中學習的方法。

大約在2006年，我們開始做所謂的深度學習。在那之前，讓具有多層表示的神經網絡學會復雜事物一直很困難。我們找到了更好的方法來實現這一點，更好的初始化網絡的方法，稱為預訓練。

在ChatGPT中，P代表預訓練。T代表變換器，G代表生成。實際上，是生成模型為神經網絡提供了更好的預訓練方法。2006年時，這個理念的種子已經埋下。

反向傳播的思想就是在一開始隨機設置連接權重，然后根據預測結果調整權重。如果預測出現錯誤，那么你就通過網絡反向計算，并提出以下問題：我應該如何改變這個連接強度，使其更不容易說出錯誤答案，更容易說出正確答案？這稱為誤差或差異。然后，你要計算每個連接強度如何進行微調，使其更容易得出正確答案，更不容易得出錯誤答案。

一個人會判斷這是一只鳥，然后將標簽提供給算法。但是反向傳播算法只是一種計算方法，用于確定如何改變每個連接強度，使其更容易說鳥，更不容易說貓。算法會不斷嘗試調整權重。現在，如果你展示足夠多的鳥和貓，當你展示一只鳥時，它會說鳥；當你展示一只貓時，它會說貓。事實證明，這種方法比手動連接特征檢測器要有效得多。

研究人員提議用區塊鏈、DAO、NFT和人工智能構建智能教育系統:金色財經報道，土耳其Anadolu大學研究員Mehmet F?rat最近發表了一項研究，設想采用一種多技術解決方案來解決挑戰傳統教育系統的問題，稱為“智能開放教育生態系統”(SOEE)。該研究結合了區塊鏈、去中心化自治組織（DAO）、NFT、多模式學習分析和人工智能（AI），形成了一個獨立的教育生態系統，該系統使用ChatGPT等生成式人工智能系統與學生交互并個性化學習體驗。課程、學習資源和證書將被制作為NFT，整個過程將由DAO管理。F?rat認為，開放教育的最終目標不僅是使學習民主化、讓教育變得可及，而且還為每個人提供個性化的學習體驗。[2023/7/26 15:59:09]

值得稱道的是，那些曾經堅定反對神經網絡的人，當看到這種方法成功時，他們做了科學家通常不會做的事情，也就是說：“它有效，我們會采用這個方法。”人們認為這是一個巨大的轉變。因為他們看到這種方法比他們正在使用的方法更有效，所以他們很快就改變了立場。

當人們既在思考機器，也在思考我們自己的思維方式時，我們常常認為，輸入是語言，輸出是語言，那么中間一定也是語言。這是一個重要的誤解。實際上，這種觀點并不正確。如果這是真的，那么被稱為符號人工智能的方法應該非常擅長進行機器翻譯，比如把英語轉換成法語。你會認為操作符號是實現這一目標的正確方法。但實際上，神經網絡的效果更好。當谷歌翻譯從使用符號方法轉向神經網絡時，效果大大提高了。

我認為，在中間的部分，你會發現有數百萬個神經元，它們中的一些是活躍的，一些則不是。符號只能在輸入和輸出處找到，而不是在整個過程中。

02、對于大語言模型，只有理解整個句子，才能更準確地預測下一個詞

我們知道這些大型語言模型只是預測下一個詞。這并不簡單，但確實如此。它們只是預測下一個詞，所以它們只是自動補全。但是，問問自己一個問題：要準確預測下一個詞，你需要了解到目前為止所說的內容。基本上，你必須理解已經說過的話來預測下一個詞。所以你也是自動補全，只不過與它們一樣。你可以預測下一個詞，雖然可能不如ChatGPT那么準確，但為了做到這一點，你必須理解句子。

讓我舉一個關于翻譯的例子。這是一個非常具有說服力的例子。假設我要把這句話翻譯成法語：“獎杯太大了，它放不進行李箱。”當我說這句話時，你會認為“它”指的是獎杯。在法語中，獎杯有特定的性別，所以你知道該用什么代詞。但如果我說：“獎杯放不進行李箱，因為它太小了。”現在你認為“它”指的是行李箱，對吧？在法語中，行李箱的性別也不同。所以為了把這句話翻譯成法語，你必須知道，當它放不進去是因為太大時，是獎杯太大；而當它放不進去是因為太小時，是行李箱太小。這意味著你必須了解空間關系和容納等概念。

觀點：隨著技術為區塊鏈提供新用途，加密貨幣助推人工智能炒作:金色財經報道，隨著數字資產面臨越來越大的監管壓力和其他市場阻力，它們也已經不再是最新科技時尚的寶座。當OpenAI在 11 月推出 ChatGPT 機器人時，它為人工智能的實際應用鋪平了道路。從那時起，人工智能吸引了創始人和投資者的注意，正是這些人推動了加密貨幣的繁榮。

投資基金Struck Crypto創始人兼管理合伙人Adam Struck表示，你實際上可能會看到人工智能在某種程度上成為了重返區塊鏈的催化劑。自ChatGPT發布以來，該基金一直在進一步深入研究人工智能。?

加密貨幣風險投資公司CoinFund執行合伙人兼首席投資官Alex Felix表示，區塊鏈技術可以為人工智能帶來更大的透明度和去中心化，而人工智能在用于訓練模型的數據方面可能極其不透明。[2023/6/25 21:57:50]

為了進行機器翻譯或預測那個代詞，你必須理解所說的內容。僅僅把它當作一串單詞是不夠的。

03、我們現在正處于一個過渡點，接下來AI將無處不在

ChatGPT表明，這些大模型可以做一些令人驚奇的事情。微軟發布了一些產品后，大眾突然開始關注這個領域，他們突然意識到了大模型的潛力。

它已經開始無處不在了，ChatGPT只是讓很多人意識到了這一點。實際上，當谷歌進行搜索時，它會使用大型神經網絡來幫助決定向你展示什么最佳結果。

有兩條通往智能的不同道路。一條是生物學途徑，另一條是我們所擁有的模擬硬件途徑。我們必須用自然語言進行溝通，還要向人們展示如何做事情，模仿等。但我們在交流方面做得很糟糕，與現在運行在數字計算機上的計算機模型相比，我們的交流能力差得多。

計算機模型之間的溝通帶寬非常大，因為它們是相同模型的克隆，運行在不同的計算機上。正因為如此，它們可以查看大量的數據，因為不同的計算機可以查看不同的數據，然后它們結合了它們所學到的東西，遠遠超出了任何人能夠理解的范圍。

ChatGPT知道的比任何一個人都多。如果有一個關于知識量的比賽，它會輕松擊敗任何一個人。我們有100萬億個連接，其中大部分是通過學習得到的，但我們只活了十億秒，這并不算很長的時間。像ChatGPT樣的東西，它們在許多不同的計算機上運行了比我們更長的時間，吸收了所有這些數據。

歐盟消費者保護組織敦促各國政府調查人工智能:6月20日消息，歐盟消費者保護組織（BEUC）敦促監管機構對流行聊天機器人背后的人工智能（AI）模型進行調查。據美聯社周二報道，該組織就生成式人工智能的擔憂向歐盟消費者、數據保護、競爭和產品安全部門發出了警告。該組織表示，監管機構應該調查OpenAI的ChatGPT等系統背后的人工智能，以便在歐盟引入人工智能監管之前評估消費者面臨的風險和脆弱性。

除了歐盟的地方官員外，該組織還致信美國總統喬·拜登，對生成人工智能對消費者的潛在危害表示了類似的擔憂。他們呼吁采取行動，敦促各國領導人利用現有立法，并制定新的法律來解決人工智能問題。BEUC還引用了挪威消費者委員會的一份報告，該報告強調了人工智能聊天機器人的危險，包括虛假信息、數據收集和操縱等。[2023/6/20 21:50:18]

我認為ChatGPT引發的AI浪潮，在規模上與工業革命、電力、甚至是輪子的發明相當。

04、未來，經過訓練的AI系統，可以運行在低功耗的系統上

我們有兩種途徑來理解智能：一種是生物途徑，其中每個大腦都是不同的，我們需要通過語言來在不同的大腦之間傳遞知識；另一種是目前的AI神經網絡版本，你可以在不同的計算機上運行相同的模型，實際上它們可以共享連接權重，因此它們可以共享數十億個數字。

這就是我們如何讓一只鳥跳舞的。它們可以共享識別鳥的所有連接權重，一個可以學會識別貓，另一個可以學會識別鳥，它們可以共享它們的連接權重，這樣每個模型都可以做兩件事。這正是這些大型語言模型所做的，它們在共享。

但這種方法只適用于數字計算機，因為它們必須能夠模擬相同的事物。而不同的生物大腦無法相互模擬，因此它們無法共享連接。

計算機的運行，必須依賴強大的電力支持，以便它能夠精確地以正確的方式工作。然而，如果你愿意讓計算機以較低的電力運行，比如大腦所做的那樣，你會允許一些噪聲等，但特定系統會適應該特定系統中的噪聲，整個系統將正常工作。

大腦的運行功率是30瓦，而大型AI系統需要像兆瓦這樣的功率。所以我們在30瓦上進行訓練，而大型系統則使用兆瓦，它們有很多相同的東西。我們在談論功率需求方面的1000倍差距。

因此，我認為會有一個階段，我們會在數字計算機上進行訓練，但一旦某個AI系統訓練完畢，我們會將其運行在非常低功耗的系統上。所以，如果你想讓你的烤面包機能和你對話，你需要一個只花費幾美元的芯片，而且它能運行像ChatGPT這樣的程序，那么最好是一個低功耗和低芯片。

聲音 | 中信證券總經理楊明輝：人工智能、區塊鏈等技術給資產管理和財富管理帶來深刻的變革:據央廣網消息，7月16日，“金融科技下半場——首屆資管科技行業高峰論壇”在北京舉辦。中信證券股份有限公司總經理楊明輝表示，金融科技與資產管理的聯姻并非錦上添花，而是具有革命性意義。“它一方面解決了為C端長尾客戶提供定制化服務的成本難題，另一方面拓展了策略端投資經理的認知和能力瓶頸，同時還極大的提升了運營管理的效率和質量，近年來，云計算、大數據、人工智能、區塊鏈等技術的應用全方位地賦能金融行業，給資產管理和財富管理帶來深刻的變革。”[2019/7/17]

05、如何保證AI提供的是真相，將是一個非常棘手的問題

ChatGPT像一個“白癡天才”，它并不真正了解事實真相。它接受了大量不一致的數據訓練，試圖預測下一個網絡用戶會說什么。

人們對很多事情有不同的觀點，而AI必須有一種混合所有這些觀點的方式，以便可以模擬任何人可能說的話。這與一個試圖擁有一致世界觀的人非常不同，特別是如果你想在世界上采取行動，擁有一致的世界觀是非常有益的。

我認為接下來會發生的一件事是，我們將朝著能夠理解不同世界觀的系統發展，并且能夠理解，好吧，如果你有這個世界觀，那么這就是答案。而如果你有另一個世界觀，那么答案就是另一個。我們得到我們自己的真相。

你可不希望某個大型盈利公司來決定什么是真實的。但他們正在控制我們如何使用這些東西。

我們已經看到，至少那些已經發布聊天產品的人覺得有些事情他們不希望用他們的聲音說出來，所以他們會去干預它，以免說出冒犯人的話。是的，但這種方式你能做的事情是有限的。總會有你想不到的事情，對吧？是的。

目前我并不認為微軟知道如何處理這個問題。他們也不知道。這似乎是一個巨大的治理挑戰。誰來做這些決策？這是非常棘手的事情。

谷歌目前非常小心，不要那樣做。谷歌會做的是將你引向相關文件，這些文件中會有各種各樣的觀點。所以我認為谷歌在發布聊天機器人時會比微軟更謹慎，并且它可能會附帶很多警告，這只是一個聊天機器人，不要一定相信它所說的。在標簽上小心，或者在干預方式上小心，以免做出糟糕的事情。

要努力防止它說出不好的東西。但是，誰來決定什么是壞事呢？有些壞事是相當明顯的，但是很多最重要的事情并不是那么明顯。所以，目前這是一個很大的懸而未決的問題。我認為微軟發布ChatGPT是非常勇敢的。

你也不希望政府來做這件事。像我說的，我不知道答案，而且我不相信有人真的知道如何處理這些問題。我們必須學會如何快速處理這些問題，因為這是一個當前的大問題。

06、AI或許已經具備“理解”能力

當涉及到“理解”的時候，我很驚訝人們會自信地宣稱這些東西是沒有“理解”的。

當你問他們“理解”的意思是什么時，他們會說他們不太清楚。那么如果你不知道“理解”的意思，你怎么能自信地說它們沒有理解呢？

所以也許它們已經有“理解”了，誰知道呢。

我認為它們是否有“理解”取決于你對“理解”的定義，所以你最好在回答這個問題之前先明確一下你對“理解”的定義。我們認為它是否有“理解”能力重要嗎，還是只關注它是否能有效地表現出有理解的狀態？

我認為一個很好的例子可以想到的是一種自主的致命武器。說它沒有感覺這也對，但是當它在追逐你并射擊你時，你會開始認為它有感覺。

我們并不真的關心，這不再是一個重要的標準了。我們正在開發的這種智能與我們的智能非常不同，它是某種伺候無知者的工具，它和我們不一樣。

我的目標是理解我們。我認為理解我們的方式是通過構建像我們一樣的東西。我說過的那位物理學家理查德·費曼曾經說過，你不能理解一件事情，除非你能夠構建它。

07、AI將使人們從事更有創造性的工作，而較少從事例行工作

如果你回顧歷史，看看自動取款機，這些現金機出現時，人們說這是銀行柜員的終結。但實際上，它并沒有終結銀行柜員的職位，現在銀行柜員處理更復雜的事情。

未來可以機器寫代碼，人來檢查代碼，這樣就能夠快10倍。你可以只用10%的程序員完成一樣的工作，或者使用相同數量的程序員，生產10倍的東西。

我們教育了很多人學習編程。教這么多人編程是否仍然有意義呢？在2015年左右，我曾經聲稱，在未來五年內，計算機將在圖像識別方面超越放射科醫生，因此教他們識別圖像中的東西已經沒有意義了。事實證明，我的預測錯誤了，實際上需要10年，而不是5年。

我認為有一段時間，我們仍然需要程序員。我不知道這段時間會有多長，但我們需要的程序員會減少。或者，我們可能需要相同數量的程序員，但產出更多。

08、AI消滅人類的幾率介于0%和100%之間

就我所說，如果我們明智的話，我們會努力發展它，以免發生這種情況。

但是，令我擔憂的是局勢。確保每個人都明智行事是一個巨大的挑戰。這似乎是一個巨大的經濟挑戰，因為你可能會有很多個體追求正確的道路，然而，公司的利潤動機可能不會像為他們工作的個體那樣謹慎。

我只真正了解谷歌，這是我唯一的工作公司。他們一直是最謹慎的公司之一。他們對AI非常謹慎，因為他們有一個提供你想要的答案的出色搜索引擎.他們不想損害它。而微軟則不太關心這個問題。如果搜索消失了，微軟可能都不會注意到。

當沒有人追趕他們的時候，谷歌采取緩慢的策略是容易的。谷歌一直處于領先地位。Transformers是在谷歌發明的，大型語言模型的早期版本也是在谷歌。他們更加保守，我認為這是正確的。但現在他們感受到了壓力。所以他們正在開發一個名為“Bart”的系統，他們將發布該系統。他們正在對它進行大量的測試，但我認為他們會比微軟更謹慎。

直到不久前，我認為在我們擁有通用人工智能之前還需要20到50年的時間。而現在我認為可能是20年或更短時間。有些人認為可能只有5年，幾年前我會說不可能，但現在我不會這樣說了。

09、一旦賦予AI創造子目標的能力，它就會變得更有效

如果你想制造一種高效的自主士兵，你需要賦予它創造子目標的能力。

換句話說，它必須意識到類似的事情，比如：“好吧，我想殺死那個人，但是要過去，我該怎么辦？”然后它必須意識到，如果能到達那條道路，可以更快地到達目標地點。所以，它有一個到達道路的子目標。

一旦你賦予它創造子目標的能力，它就會變得更有效。像普京這樣的人會希望擁有這樣的機器人。

但是，一旦它具備了創造子目標的能力，你就會遇到所謂的“對齊問題”，即如何確保它不會創造對人類或你自己不利的子目標。誰知道那條路上會有什么人？誰知道會發生什么？

10、AI研發需要“日內瓦公約”

我們需要做的是使這種技術與人類互補，讓它幫助人們。我認為這里的主要問題之一是我們所擁有的體系。

如果這些系統是由軍方研發的，那么將一條“永遠不要傷害人類”的規則植入其中的想法，恐怕并不現實，因為它們本就是設計用來傷害人類的。

我認為最好的辦法是類似于《日內瓦公約》的東西，但達成會非常困難。

我覺得如果有大量的公眾抗議，那么可能會說服政府采取行動。我可以想象，在足夠的公眾抗議下，政府可能會采取某些行動。但是，你還需要應對其他人。

11、我們距離AI能夠自我改進的時間點已經非常近了

我認為這是一個關鍵時刻。我們可能很接近了。然后它可能會變得非常快。

我們必須認真思考如何控制這一點。我對這些成果有一點擔憂。

不過，我認為不論發生什么，這幾乎都是不可避免的。

換句話說，一個人停止研究不會阻止這種情況的發生。如果我的影響只是讓它提前一個月發生，那么這就是一個人所能做的極限了。有這個想法，我可能說錯了，那就是短跑道和長起飛。

我認為有時間準備是好的。所以我認為，現在就擔心這些問題是非常合理的，盡管在接下來的一兩年內不會發生。人們應該思考這些問題。

結語

Hinton先生不只是在學術上居功至偉，他的精神也對我們的社會有著借鑒的意義。

“雖千萬人吾往矣”，Hinton是計算機科學界為數不多的真正愿意去堅持自己的熱愛并且義無反顧的與其他人對抗的，他不畏懼別人的眼光，那并不是因為他不在意或者怎么樣——他似乎擁有洞察未來的雙眼，知道他的堅守會是正確的。

最后，以Hinton先生的一段話結尾。

We'rejustproducedbiologically.MostpeopledoingAIdon'thavedoubtthatwe'remachines.AndIshouldn'tsayjust.We'respecial,wonderfulmachines.

我們是機器，我們只是通過生物方式制造的。大多數做AI的人對這一點毫不懷疑。我們只是特別精密的機器。我剛才不該說“只是”。我們是特別的、絕妙的機器。

Tags：人工智能HATCHATATG人工智能幣哪個好HATCHYCloudChat人工智能chatGPT

非小號