撰文:WillDouglasHeaven
來源:麻省理工科技評論
就在杰弗里-辛頓宣布退出谷歌這一重磅消息的四天前,我在倫敦北部一條街道的房子里見到了他。辛頓是深度學習的先驅,他幫助開發了現代人工智能核心的一些最重要的技術,但在谷歌工作了十年后,他選擇辭職,專注于他目前對人工智能的新關注。
被GPT-4等新的大型語言模型的能力所震驚,辛頓希望提高公眾對他現在認為可能伴隨其開創技術的嚴重風險的認識。
在我們的談話開始時,我在廚房的桌子旁坐下來,辛頓開始踱步。多年來因慢性背痛的困擾,他幾乎從不坐下。在接下來的一個小時里,我看著他從房間的一端走到另一端,我注視著他。他有很多話要說。
這位75歲的計算機科學家因其在深度學習方面的工作,與YannLeCun和YoshuaBengio共同獲得了2018年圖靈獎,他說他已經準備好轉變方向。“我太老了,無法從事需要記住大量細節的技術工作,”他告訴我。“我還好,但已大不如前,這令人煩惱。”
但這并不是他離開谷歌的唯一原因。辛頓想把時間花在他所說的“更多哲學工作”上,一個微小但對他而言非常真實的危險上,即人工智能將變成一場災難。
離開谷歌可以讓他暢所欲言,而不用像谷歌高管那樣必須進行自我審查。他說:“我想談論人工智能的安全問題,而不必擔心與谷歌業務的關聯。”“只要谷歌付我薪酬,我就不能這么做。”
Worldcoin:World ID等全球PoP解決方案可以解鎖新一代產品和服務:金色財經報道,Worldcoin官方發文稱,世界幣正在全球開發者社區的支持下建立世界上最大的人類身份和金融網絡。使用World ID構建,開發人員可以通過強大的方式來防止機器人程序并使用戶能夠展示其經過驗證的人格證明。?World ID等全球PoP解決方案可以解鎖新一代產品和服務,包括:
·社交網絡。機器人保護、社區審核、內容歸屬;
·表決。DAO 治理、選舉、在線民意調查;
·金融服務。抵押貸款不足、卡欺詐、合規;
·客戶激勵。忠誠度計劃、優惠券、推薦、免費試用;
·市場。聲譽、虛假評論、虛假交易、預防黃牛;
金錢分配。社會項目、發展援助、救災、非營利援助、獎學金、加密貨幣空投、全民基本收入。
然而,他們的成功取決于充滿活力和多元化的開發者社區,通過構建有用的第三方應用程序來提供其可擴展性、可用性和實用性。[2023/8/12 16:21:43]
當然,這并不意味著辛頓對谷歌有任何不滿意。“這可能會讓你大吃一驚,”他說。“我想傳達很多關于Google的優點,但如果我不在Google了,它們會更可信。”
辛頓說,新一代的大型語言模型--特別是OpenAI在3月發布的GPT-4--讓他意識到,機器正朝著比他想象的要聰明得多的方向發展。而他對這一情況可能發生的事情感到害怕。
“這些東西與我們完全不同,”他說。“有時我覺得這就像外星人登陸了,而人們卻沒有意識到,因為他們的英語說得很好。”
推特啟動創作者廣告收入共享計劃,著力擴大創作者變現服務:7月14日消息,推特啟動了創作者廣告收入共享計劃,正著力擴大創作者變現服務,包括為創作者提供廣告收入分成。根據公告,創作者可以從帖子的回復中獲得廣告收入分成。推特將在本月晚些時候更廣泛地推出該計劃,所有符合條件的創作者都可以申請。[2023/7/14 10:54:35]
基石
辛頓最出名的是他在1980年代提出的一種叫做反向傳播的技術。簡而言之,這是一種允許機器學習的算法。它支撐著今天幾乎所有的神經網絡,從計算機視覺系統到大型語言模型。
直到2010年代,通過反向傳播訓練的神經網絡的力量才真正產生了影響。辛頓與幾個研究生合作,表明該技術在讓計算機識別圖像中的物體方面比其他任何技術都好。此外,他們還訓練了一個神經網絡來預測一個句子中的下一個字母,這也是今天大型語言模型的前身。
其中一名研究生是IlyaSutskever,他后來共同創立了OpenAI并領導了ChatGPT的開發。辛頓說:“我們最初意識到,這種東西可能會很神奇。”“但人們花了很長時間才意識到,這需要大規模進行才能取得成功。”早在20世紀80年代,神經網絡就是個笑話。當時的主流觀點是符號人工智能,即智能涉及處理符號,如文字或數字。
但辛頓并不相信。他研究了神經網絡,即大腦的軟件抽象,其中的神經元和它們之間的連接由代碼表示。通過改變這些神經元的連接方式--改變用來表示它們的數字--神經網絡可以在飛行中重新接線。換句話說,它可以被用來學習。
報告:隨著監管機構升溫,比特幣引領加密貨幣市場復蘇:金色財經報道,根據 Cointelegraph Research Venture Capital 數據庫的最新信息,區塊鏈行業的投資活動在 3 月份出現了顯著下降,只有 59 筆交易發生,低于 2 月份的 96 筆。這意味著投資活動減少了 38.5%。3 月份的資金流入總額為 5.04 億美元,較 2 月份的 8.8 億美元下降超過 42.7%。
風險投資需要穩定和有利的宏觀經濟條件,以支持高風險企業的增長。長期滯脹環境的風險使得這一目標難以實現,這也是近期VC投資情緒趨于看跌的原因。在宏觀經濟指標發生轉變,使投資者從避險轉向冒險之前,區塊鏈行業的投資情緒可能會繼續停滯或下降。
此外,加密股票在 3 月份表現不一。雖然挖礦業務因收入增加而推高了股價,但其他類型的加密貨幣企業卻舉步維艱。這包括 Coinbase、Canaan 和 Block 等公司。[2023/4/8 13:51:14]
“我父親是一名生物學家,所以我從生物學的角度思考問題,”辛頓說。“而符號推理顯然不是生物智能的核心。”
“烏鴉可以解決難題,但它們沒有語言。它們不是通過存儲符號串并操縱它們來完成的。它們是通過改變大腦中神經元之間的連接強度來實現的。因此,通過改變人工神經網絡中的連接強度來學習復雜的東西是可能的。”
一種新的智能
40年來,辛頓一直將人工神經網絡視為模仿生物神經網絡的拙劣嘗試。現在他認為情況發生了變化:他認為,在試圖模仿生物大腦的過程中,我們已經想出了更好的辦法。他說:“當你看到這一點時是很可怕的。”“這是一個突然的翻轉。”
Bitfinex今日上線Aptos (APT):10月18日,據Bitfinex官方消息,該交易平臺今天將上線Aptos原生Token Aptos (APT)。APT的存款服務將于2022年10月18日開放,交易服務將于2022年10月19日開放,支持美元和USDT兩個交易對。[2022/10/18 17:30:35]
辛頓的擔心會讓很多人覺得是科幻小說的內容。但他是這樣思考的。
正如它們的名字所示,大型語言模型是由具有大量連接的大規模神經網絡制成的。但與大腦相比,它們是微小的。“我們的大腦有100萬億個連接,”辛頓說。“大型語言模型最多只有5000億,最多一萬億。然而,GPT-4的知識比任何人都多數百倍。所以也許它實際上有比我們更好的學習算法。”
與大腦相比,人們普遍認為神經網絡不善于學習:需要大量的數據和能量來訓練它們。另一方面,大腦可以迅速掌握新的想法和技能,使用的能量只有神經網絡的一小部分。
“人們似乎擁有某種魔力,”辛頓說。“但只要你把這些大型語言模型中的一個拿出來,并訓練它做一些新的事情,這個論點就會不成立。它可以極快地學習新的任務。”
辛頓指的是“少樣本學習”,在這種情況下,經過預訓練的神經網絡,如大型語言模型,只需給幾個例子就可以訓練它做一些新事情。例如,他指出,其中一些語言模型可以將一系列的邏輯語句串成一個論點,即使它們從未接受過直接這么做的訓練。
他說,在學習這樣一項任務的速度上,將預先訓練好的大型語言模型與人類進行比較,人類毫無優勢。
曾帶頭推廣Luna的Galaxy Digital創始人在Luna崩盤后在推特上保持沉默:5月17日消息,Galaxy Digital創始人、億萬富翁投資者Michael Novogratz在Luna代幣崩盤而對加密貨幣市場造成沖擊的情況下保持了沉默,此前他曾帶頭推廣Luna代幣。Novogratz的推特賬戶自5月8日起幾乎停止了活動,而Novogratz是推特的重度用戶,平均每天發布一條以上的推文。這恰逢Terra和Luna代幣的價格開始暴跌的時候。
去年,Galaxy Digital從2020年8月開始向Terra和Luna代幣發行方Terraform Labs進行了投資,去年Galaxy Digital選擇Luna代幣作為為公司10億美元銷售額做出貢獻的代幣之一。
1月份,他在推特上感謝Terra創始人Do Kwon,并附上了一張他紋著LUNA字樣的紋身照片。
據財富雜志本月報道,Michael Novogratz的財富估計為25億美元,這比去年11月的85億美元大幅下降,但沒有提到Luna代幣崩盤對其的影響。(wowtv)[2022/5/17 3:21:32]
大型語言模型制造了這么多東西,這又是怎么回事?人工智能研究人員將其稱為“幻覺”,這些錯誤通常被視為技術的致命缺陷。產生這些錯誤的趨勢使聊天機器人變得不可信,而且,許多人認為,這表明這些模型沒有真正理解他們所說的話。
對此,辛頓的答案是:胡說八道是一個特點,而不是一個錯誤。“人們總是在虛構,”他說。半真半假和錯誤記憶的細節是人類談話的標志:“虛構是人類記憶的標志。這些模型所做的與人一樣”
辛頓說,不同之處在于人類通常或多或少會正確地構思。對他來說,編造東西不是問題。計算機只需要多一點練習。
我們還期望計算機要么對,要么錯,而不是介于兩者之間。“我們不期望它們像人一樣喋喋不休,”辛頓說。“當一臺計算機這么做時,我們認為它犯了錯誤。但換成人類,這就是人們工作的方式。問題是大多數人對人類的工作方式有著無可奈何的錯誤看法。”
當然,大腦仍然比計算機做得更好:駕駛汽車、學習走路、想象未來。而且大腦可以靠一杯咖啡和一片吐司上完成這些任務。他說:“當生物智能在進化時,它無法使用核電站。”
但辛頓的觀點是,如果我們愿意支付更高的計算成本,有一些關鍵的方法可以讓神經網絡在學習方面擊敗生物。。
學習只是辛頓論證的第一條線。第二條是交流。他說:“如果你或我學到了一些東西,并想把這些知識傳授給其他人,我們不能只是給他們發送一份副本。”“但我可以有一萬個神經網絡,每個都有自己的經驗,它們中的任何一個都可以立即分享它們所學到的東西。這是巨大的區別。就好像我們有一萬個人,只要有一個人學到了什么,我們所有人就都會知道。”
所有這些加起來是什么?辛頓現在認為世界上有兩種類型的智能:動物大腦和神經網絡。“這是一種完全不同的智能形式,”他說。“一種新的、更好的智能形式。”
這是一個巨大的主張。人工智能是一個兩極分化的領域:嘲笑的人大有所在,而同意的人也比比皆是。
對于這種新型智能的后果是有益的還是災難性的,人們也存在分歧。他說:“你認為超級智能是好是壞在很大程度上取決于你是一個樂觀主義者還是一個悲觀主義者。”“如果你讓人們估計壞事發生的風險,比如你家里有人得重病或被車撞的幾率是多少,樂觀主義者可能會說5%,悲觀主義者可能會說100%。而輕度抑郁癥患者會說幾率可能在40%左右,而且他們通常是對的”。
辛頓是哪種人?“我有輕微的抑郁癥,”他說。“這就是為什么我很害怕的原因。”
為什么會出錯
辛頓擔心,這些工具能夠找出方法來操縱或殺死那些沒有為新技術做好準備的人。
“我突然改變了對這些東西是否會比我們更聰明的看法。”他說:“我認為它們現在已經非常接近了,它們在未來會比我們更聰明。”“我們如何在這種情況下生存?”
他特別擔心,人們可以利用他親自注入生命的工具來傾斜一些最重要的人類經歷的天平,特別是選舉和戰爭。
辛頓認為,智能機器的下一步是有能力創建自己的子目標,即執行一項任務所需的臨時步驟。他問道,當這種能力被應用于本質上不道德的東西時會發生什么?
目前,已經有一些實驗性項目,如BabyAGI和AutoGPT,將聊天機器人與其他程序連接起來,使它們能夠將簡單的任務串聯起來。當然,這些步驟很微小,但它們預示著一些人想把這項技術帶入的方向。辛頓說,即使壞人沒有奪取機器,子目標也存在其他問題。
“好吧,這里有一個幾乎總是對生物學有幫助的子目標:獲得更多能量。因此,可能發生的第一件事就是這些機器人會說,‘讓我們獲得更多能量吧。讓我們將所有電力重新路由到我的芯片。‘另一個重要的子目標是復制更多的自己。聽起來如何?”
Meta公司的首席人工智能科學家YannLeCun同意這個前提,但并不同意Hinton的擔心。LeCun說:“毫無疑問,機器將在未來變得比人類更聰明--在所有人類智能的領域。”“這是一個關于何時和如何的問題,而不是一個關于是否的問題。”
但他對事情的發展方向有完全不同的看法。”我相信,智能機器將為人類帶來新的復興,一個新的啟蒙時代,“LeCun說。“我完全不同意機器會僅僅因為更聰明就統治人類的想法,更不用說毀滅人類了。”
“即使在人類中,我們當中最聰明的人也不是最有統治力的人,”LeCun說。“最有統治力的人絕對不是最聰明的。我們在政界和商界有無數這樣的例子。”
蒙特利爾大學教授、蒙特利爾學習算法研究所科學主任YoshuaBengio覺得更不可知。他說:“我聽到有人詆毀這些恐懼,但我沒有看到任何堅實的論據能讓我相信不存在Geoff認為的那種規模的風險。但是,恐懼只有在促使我們采取行動時才是有用的,”他說:“過度的恐懼可能會使人癱瘓,所以我們應該嘗試將辯論保持在理性的水平上。”
向上看
辛頓的首要任務之一是嘗試與技術行業的領導者合作,看看他們是否能夠走到一起,就有哪些風險以及如何應對這些風險達成一致。他認為化學武器的國際禁令可能是如何著手遏制危險人工智能的開發和使用的一種模式。“這并非萬無一失,但總的來說人們不使用化學武器,”他說。
Bengio同意辛頓的觀點,即這些問題需要盡快在社會層面上解決。但他表示,人工智能的發展速度超過了社會能夠跟上的速度。這項技術的能力每隔幾個月就會躍進一次;而立法、監管和國際條約則需要幾年時間。
這讓Bengio懷疑,我們社會目前的組織方式--在國家和全球層面--是否能夠應對挑戰。“我相信我們應該對我們星球的社會組織采用完全不同的模式的可能性持開放態度,”他說。
辛頓真的認為他能讓足夠多的當權者分享他的關注嗎?他不知道。幾周前,他看了部電影《不要抬頭》,其中一顆小行星向地球撞去,但沒有人能就如何應對達成一致,最后每個人都死了。
他說:“我認為人工智能也是如此,其他難以解決的大問題也是如此。”他說:“美國甚至不能同意將突擊步槍從十幾歲的男孩手中拿走。”
辛頓的論點令人警醒。我贊同他對人們在面臨嚴重威脅時集體無法采取行動的悲觀評估。同樣真實的是,人工智能有可能造成真正的傷害--破壞就業市場,加劇不平等,使性別歧視和種族主義惡化等等。我們需要關注這些問題。但我仍然無法從大型語言模型跳到機器人霸主。也許我是個樂觀主義者。
辛頓送我出來時,天已經變得灰暗潮濕。“好好享受吧,因為你可能沒剩多少時間了,”他說。他笑了笑,關上了門。
翻譯:@鹿鹿?校對:@Diamond?精煉:@SCaesar?編排:@黑羽小斗 簡介: 快速普及了NFT的定義,解釋了加密世界如何實現NFT.
1900/1/1 0:00:00來源:《科創板日報》 作者:鄭遠方 圖片來源:由無界AI工具生成抖音今日發布關于人工智能生成內容的平臺規范暨行業倡議.
1900/1/1 0:00:00在即將到來的坎昆升級中,以太坊將迎來重大改變,將使得以太坊Layer2的速度提高10x,甚至有機會提高100倍且成本更低。本文將探討坎昆升級的影響以及可能受益的L2項目.
1900/1/1 0:00:00金色財經報道,Twitter創始人JackDorsey旗下金融科技支付公司Block最近從英特爾購買大量比特幣挖礦芯片,加速其進入挖礦硬件市場的計劃.
1900/1/1 0:00:00來源:時尚座駕car 編輯/天擇文、圖/忘書 隨著科幻IP《三體》的大火,匯集了創新、變革和前瞻科技的“元宇宙”,再一次成為了熱門話題.
1900/1/1 0:00:00摘要:今日,抖音發布關于人工智能生成內容的平臺規范與行業倡議,分別對創作者、主播、用戶、商家、廣告主等平臺生態參與者提出了要求.
1900/1/1 0:00:00