來源:澎湃新聞
記者邵文方曉
·從2023年2月20日“國內第一個對話式大型語言模型”MOSS發布,到4月21日該模型正式開源,兩個月間,多家中國企業和研究機構以加速度扎堆沖入被ChatGPT轟炸出來的AI大模型賽道。在梳理這些大模型所試圖呈現的特點之后,我們該如何看待這種趨勢?
·如何判斷各家大模型的水平?“通常需要使用測試數據集來評估大模型性能,也可以根據模型中的參數數量來判斷模型的復雜度。模型的響應時間也是一個重要的衡量因素,最主要的還是在線上環境實際應用時,通過監測模型在生產環境中的表現來判斷其水平。”
圖片來源:由無界AI工具生成
ChatGPT的發布就像打開了“潘多拉的盒子”,在中國引發了一場你追我趕的“狂飆”。
2023年2月20日深夜,MOSS的官網因服務器流量過載癱瘓,這是中國人對ChatGPT類產品興趣暴增的最初征兆之一。
此MOSS不是《流浪地球》系列電影里的機器人,而是復旦大學邱錫鵬教授團隊發布的“國內第一個對話式大型語言模型”。兩個月后的4月21日,MOSS正式開源,成為國內首個插件增強的開源對話語言模型。
這兩個月,注定會成為中國科技與商業界被銘記的兩個月。一切都按下了快進鍵,時間仿佛被壓縮,中國企業和研究機構以加速度扎堆沖入這個被ChatGPT轟炸出來的新賽道。
據澎湃科技不完全統計,目前國內已發布的所謂AI大模型已超過20個,除了百度、阿里等大廠,創新工場董事長李開復、百川智能CEO王小川、出門問問CEO李志飛等紛紛宣示入局。各類大模型名字五花八門,有竭力體現中國文化深厚內涵的,也有從國際知名數學家的理論中引經據典的。
回顧這狂飆突進的兩個月,澎湃科技梳理了一些主要國產大模型所試圖呈現的特點。除此之外,兩個至關重要的問題也被提出:我們該如何判斷這些大模型?喧囂之下應該有怎樣的冷靜思考?
從MOSS開始:為什么要堅持做開源?
“我們的計算資源不足以支持如此大的訪問量,并且作為學術團隊我們也沒有相關的工程經驗,給大家造成非常不好的體驗和第一印象,在此向大家致以真誠的歉意。”2月21日,在MOSS官網被“擠癱”后,其開發團隊發布聲明誠懇致歉,并表示,“中國版ChatGPT的誕生還需要中國全體AI從業者的努力,也更需要不斷和人交互以提高能力。”
這種謙虛、低調、懷著“繼續學習”態度的回應,成為此后多個國產大模型設定敘事基調的先例。
根據邱錫鵬團隊的介紹,MOSS可執行對話生成、編程、事實問答等一系列任務,打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術路徑。
這款模型引發關注的一個點是,它的英文回答水平比中文高,開發團隊解釋稱,“因為它的模型基座學習了3000多億個英文單詞,中文詞語只學了約300億個。”
Binance慈善機構將在2023年提供超過3萬個Web3獎學金:1月22日消息,Binance慈善機構Binance Charity宣布,將在2023年通過幣安慈善學者計劃為熱衷于在Web3領域開創事業的學生提供30650個獎學金。目前已有超過82000名申請者對,相當于約37%的錄取率。
據了解,幣安慈善學者計劃(BCSP)將提供免費的Web3教育和培訓課程,其教育合作伙伴包括西澳大利亞大學、塞浦路斯尼科西亞大學、德國法蘭克福金融與管理學院和尼日利亞技術中心Utiva。(cointelegraph)[2023/1/22 11:26:02]
粵港澳大灣區數字經濟研究院認知計算與自然語言中心文本生成算法團隊負責人王昊對澎湃科技表示,“相較于英文數據,中文數據的開源程度較低,導致中文數據集的規模相對較小。此外,英文作為科研主流語言,在學術界和工業界中得到廣泛應用,積累了大量高質量的語料數據,這為英文自然語言處理的研究提供了極大的優勢。”
MOSS的橫空出世,令復旦大學邱錫鵬團隊一舉成名。在多個公開場合,邱錫鵬對大型語言模型的研究與發展做出了詳細闡釋。
4月1日,邱錫鵬在一個論壇上介紹,整體而言,MOSS基于公開的中英文數據訓練,目前已經擁有200億參數,具有和人類對話的能力,并可以通過與人類交互實現迭代優化。與此同時,他也坦承,盡管對語言的理解能力和ChatGPT已經非常相近,但是目前MOSS的整體完成度并不高,主要原因在于MOSS在部署和訓練上投入的資本還非常有限,相較于千億級的ChatGPT,大概只是其規模的十分之一,所以MOSS還有很多事實類知識記不住,思維鏈能力也相對較差。目前團隊也在積極嘗試引入一些外部工具,來進一步擴大模型參數規模,不斷改進與優化。
在上述論壇的圓桌討論中,邱錫鵬談到了為什么MOSS要開源。“MOSS還是想以開源的形式去做,為什么美國卡我們脖子,一卡一個準,就是我們的生態沒有建好。OpenAI做ChatGPT的時候,它不需要分心做其他東西,只是把模型做好。微軟幫它做算力,還有一家開源公司幫它做部署,也有專門的公司來進行數據清洗。它是在整個生態中去做的,生態促使它發展非常快。”他說,“而我們國內每家公司都要做,這就會產生一個問題,每家都做不大,每個都做自己的,所有的東西都自己來,又不愿意跟別人分享。每家數據、算力有限,也沒有多少錢可以支持研發,又在做一些很基礎、重復性的事情。”
邱錫鵬表示,有了MOSS后就不用做底層的重復性工作,把整個生態建起來。“如果我們有一個統一的語言、統一的基座,下面對接一下國產的算力,做好一份接口,大家就都可以來用,能夠去促進生態鏈的建設,使得整個中國的AI往前進一步發展。”
4月21日,新版MOSS模型正式上線,不僅更加成熟,而且還增加了“搜索引擎、計算器、解方程、文生圖”等插件功能,既可在線體驗,也支持本地部署。“GPT-4也能接入各種插件,這種能力在大模型落地應用過程中會很有價值。”邱錫鵬說。同時,MOSS大模型相關代碼、數據、模型參數已在Github和HuggingFace等平臺開放。
文心一言:最受矚目,備受爭議
3月16日,北京,身著白色襯衫和小白鞋的百度CEO李彥宏親自上臺,發布了備受關注的大語言模型“文心一言”。百度由此成為國內第一家發布類ChatGPT大模型的企業。
Discord拓展應用插件Collab.Land已集成Ronin Network:10月27日消息,用于驗證所有權的Discord拓展應用插件Collab.Land已集成以太坊側鏈Ronin Network,支持所有Discord服務器通過驗證用戶在Ronin Network上的資產所有權情況來給予不同權限。[2022/10/27 11:48:50]
李彥宏從文學創作、商業文案創作、數理推算、中文理解和多模態生成五個方面展示了“文心一言”的能力。展示方式并非現場直播演示,而是播放了提前錄制的視頻。發布會進行到一半,百度的股價跌幅一度擴大至近10%。
“文心一言”的發布,可以說是關注度最高,爭議聲也最大。因此,李彥宏在發布會一開始就降低預期,坦率承認,“文心一言”在測試時還是有許多不完美之處,但因為市場需求,大家都希望早一點用上最新最先進的大語言模型,所以選擇在此時推出。
根據百度的介紹,“文心一言”的參數規模為2600億。在發布會現場,當澎湃科技詢問李彥宏如何解決類ChatGPT產品都會出現的“一本正經胡說八道”問題時,李彥宏表示,“百度在這個方面確實有優勢,我們做了知識增強和檢索增強。”
百度一直強調,它是全球為數不多在芯片層、框架層、模型層和應用層四層進行全棧布局的人工智能公司。“從高端芯片昆侖芯,到飛槳深度學習框架,再到文心預訓練大模型,到搜索、智能云、自動駕駛、小度等應用,各個層面都有領先業界的自研技術。”李彥宏說。
科技自媒體“AI科技評論”分析稱,百度有近水樓臺的智能云、充裕且體系健全的算力、運行平穩的深度學習框架、一群具有多年AI開發經驗的人才,最重要的,還有一個日活數十億搜索引擎來提供中文的本地化數據——某種程度上,距離大模型的完成形態,具備了大多數的硬條件。
發布會后,一些搶先測試“文心一言”的用戶陸續曬出了測試截圖,其文生圖功能的質量尤其引發熱議,不乏激烈的爭論。而李彥宏的回應是:“外界反饋跟我預期差不多。”“你去看ChatGPT,在剛推出的時候,外界反饋比‘文心一言’還要糟糕。”
“整體而言,這類大語言模型還遠未到發展完善的階段,它們有時候會有很驚艷的表現,但不少場景下,細究起來還有明顯的bug,進步空間很大。未來這段時間它一定會飛速發展,日新月異。”在發布會上,李彥宏也提前打了預防針。
科技行業媒體人何帥認為,“如果說和ChatGPT的差距,‘文心一言’只差訓練量。ChatGPT跑了好幾年,‘文心一言’不可能一下子趕上。百度之前做了很多‘半途而廢’的事,外賣、地圖、電商、元宇宙,都追逐過風口,又沒追上,多多少少浪費了技術底蘊。但現在做回‘文心一言’,我還是有信心的。百度有技術能力和知識圖譜,如果百度做不好,國內可能真的沒有哪家企業能做好了。”
“可控大模型生態鏈”與“消費級顯卡本地部署”
在“文心一言”正式發布的同月,還有兩個相對不太引人關注的大模型被推出。3月14日,瀾舟科技創始人兼CEO周明在北京創新工場總部舉辦的“AI1.0到AI2.0的新機遇”趨勢分享會上宣布,瀾舟科技推出孟子對話大模型。
根據該公司的介紹,周明從微軟亞洲研究院辭職后創辦瀾舟科技,開始孵化孟子通用預訓練模型。MChat具有類ChatGPT的能力,同時具備原有的孟子多項目功能引擎。“兩者結合使得其具有ChatGPT的對話能力,又同時具備工業級尤其ToB服務器所需要的翻譯、生成、信息搜索等方面的能力。”
Web3娛樂游戲發行平臺Vegas One完成5000萬美元種子輪融資:7月28日消息,Web3娛樂游戲發行平臺Vegas One宣布完成5000萬美元種子輪融資,XS Games和Game Sparcs領投,其他專業娛樂游戲公司等參投。Vegas One希望利用區塊鏈技術改變娛樂游戲市場,在Vegas One Web3.0平臺下,利用去信任機制將開發者、運營商和玩家關系變得更加緊密。(Globenewswire)[2022/7/28 2:43:50]
瀾舟科技提出以MChat構筑一個相對完善的可控大模型生態鏈。這個“可控”特色,是指其能力相較于其他同類技術更為靈活,面向垂直領域、專業賽道落地會更加聚焦,可以根據行業、地域等需求做出快速調整。更具體而言,MChat大模型底層是個“通用底座”,提供了涵蓋語言預訓練模型、多模態預訓練模型、垂直領域預訓練模型和其他預訓練模型等能力。在通用底座之上,架構“能力平臺”提供知識圖譜、輔助寫作、機器翻譯、情感分析、智能檢索、智能客服、文檔解析等多領域的模塊化能力。
在這個分享會上,同為微軟亞洲研究院出身的創新工場董事長兼首席執行官李開復提出了一個觀點:在深度學習的重大突破之后,AI已經處于從1.0邁入2.0的拐點。AI2.0將會帶來平臺式的變革,改寫用戶的入口和界面,誕生全新平臺,催生新一代AI2.0應用的研發和商業化。
六天后,李開復在其微信朋友圈宣布:正在親自籌組全球化AI新公司ProjectAI2.0,目標“不僅僅要做中文版ChatGPT”,目前資金、算力陸續到位,希望在全球范圍內“招賢納士”。當被問及具體計劃時,創新工場方面回復澎湃科技:剛開始籌辦,有進一步對外規劃時再回復。
同樣在3月14日,清華大學的自然語言處理研究團隊、知識工程和數據挖掘小組開源了60億參數的ChatGLM-6B模型,并開始內測對話機器人ChatGLM。
該團隊在官方博客中介紹,ChatGLM是一個初具問答和對話功能的千億中英語言模型,并針對中文進行了優化。而中英雙語對話GLM模型ChatGLM-6B則結合了模型量化技術,用戶可以在消費級的顯卡上進行本地部署。“62億參數的ChatGLM-6B雖然規模不及千億模型,但大大降低了用戶部署的門檻,并且已經能生成相當符合人類偏好的回答。”
能夠在消費級顯卡上進行本地部署,吸引了大量愛好者動手嘗試,ChatGLM-6B在知乎等社交媒體的討論圈里引發了熱烈討論和一些正面反饋。
視覺技術起家,商湯強調“多模態”和B端
到了4月,加速又進了一步。
4月10日,商湯科技召開新聞發布會,發布“日日新SenseNova”大模型體系。該體系含中文語言大模型應用平臺“商量SenseChat”、圖片生成模型“秒畫SenseMirage”、AI數字人視頻生成平臺“如影SenseAvatar”、3D內容生成平臺“瓊宇SenseSpace”和“格物SenseThings”等。一系列名字令人眼花繚亂,而“日日新”則取自《禮記·大學》,湯之盤銘:茍日新,日日新,又日新。
商湯介紹稱,作為千億級參數的自然語言處理模型,“商量”能夠提供以下功能:編程助手,幫助開發者編寫和調試代碼;健康咨詢助手,為用戶提供個性化的醫療建議;PDF文件閱讀助手,能輕松從復雜文檔中提取和概括信息等能力。商湯科技聯合創始人王曉表示,“商量”未來主要面向B端。
貝塔斯曼亞洲投資基金(BAI)完成7億美元首期基金募集:據官方消息,7月25日,BAI資本宣布已于近日完成首期7億美元基金募集。這是原貝塔斯曼亞洲投資基金獨立并首次對外募資,超額完成目標,獲得了主權財富基金、大型保險公司、互聯網巨頭和一線母基金(FoF)等眾多國際知名機構投資者的投資,歐洲傳媒巨頭貝塔斯曼集團也連續15年持續大力支持。
BAI資本創始及管理合伙人龍宇于2008年創立貝塔斯曼亞洲投資基金(Bertelsmann Asia Investments),累計投資超200家互聯網和科技企業,實現近20個IPO和40余家獨角獸的成績。(投資界)[2022/7/25 2:35:21]
在發布會現場,基于超10億參數的圖像模型“秒畫”生成的港風照片獲得了較為熱烈的反應。值得注意的是,商湯以機器視覺技術起家,算力儲備較為充裕。2019年,商湯于上海臨港建設人工智能計算中心,到目前共有5000P算力,大裝置擁有2.7萬塊GPU芯片卡,可以實現自供算力訓練大模型。
不過,商湯在發布會上展示的PPT里,“秒畫”精選模型中有兩張圖片和AI畫圖模型社區Civitai中的圖片非常相似,遭到網友質疑。在大模型展示后首個交易日,商湯股價跳水至跌幅5%,最終當日收跌。隨后,商湯回應質疑稱:“秒畫”包含商湯自研大模型,也提供第三方社區開源模型,支持導入多個平臺的開源模型或上傳用戶本地模型。
實際上,作為“AI四小龍”的商湯早已被期待在生成式人工智能賽道打出一記重拳。商湯科技董事長兼CEO徐立在發布會前接受澎湃科技專訪時表示,國內科技企業搶灘大模型開發,目前仍處于追趕階段。“走好自己的路,就是要有一些差異化。所謂的差異化就是用好行業自身的稟賦。”他說,在這個時間點推出大模型體系,是希望吸引更多下游用戶。自然語言模型能夠把各種垂直類的任務串聯起來,用多模態混合的模式迭代行業場景。“我們希望我們的大模型體系能夠幫助行業生產出下一代最領先的多模態模型,并且升級性能。”他說。
“未來的模型趨勢是一個行業里面可能1-2個大模型,剩下的小模型、行業模型非常多。實際上自然語言模型也好,多模態模型也好,未來都是這個趨勢。”徐立表示。
“所有產品都值得用大模型重做一次”
商湯科技在上海舉行發布會一天后,2023阿里云峰會4月11日在北京舉行。這又是一個“一把手”站臺的發布會。
阿里巴巴集團董事會主席兼CEO、阿里云智能集團CEO張勇在會上表示,阿里巴巴所有產品未來將接入“通義千問”大模型,進行全面改造,包括天貓、釘釘、高德地圖、淘寶、優酷、盒馬等。此外,在阿里云構建的大模型基礎設施平臺上,將不僅有阿里的通義大模型,還能夠接入各種高校、科研院所、企業機構的大模型,為更多專屬模型的訓練和服務提供保障。
據張勇介紹,釘釘、天貓精靈等產品在接入“通義千問”測試后,變得聰明了很多。釘釘可以自動生成工作方案,也可以在會議紀要后自動生成總結和待辦事項。
張勇在這場發布會所說的一句話此后被頻繁引用:面向AI時代,所有產品都值得用大模型重做一次。
在接受澎湃科技等媒體的采訪時,阿里云智能CTO周靖人說,每個企業都可以有自己的智能客服、智能導購、智能語音助手、文案助手、AI設計師、自動駕駛模型等。
OSMO Wallet與IBEX Mercado合作,為其用戶開發閃電網絡基礎設施:7月21日消息,OSMO Wallet與比特幣基礎設施提供商IBEX Mercado合作,為其用戶開發閃電網絡基礎設施。此外,OSMO與匯款公司AirPak合作,該公司將允許OSMO客戶在超過8000個零售點兌現比特幣。(Bitcoin Magazine)[2022/7/21 2:28:14]
提到市面上的其他產品,周靖人表示,人工智能研究機構OpenAI的GPT大模型在各個方面都處在領先地位,因此“通義千問”需要取長補短,不斷彌補自己的不足。他也提到,期望下個階段“通義千問”也能貢獻自己的技術創新。
“通義千問”中的“通義”是阿里巴巴達摩院在2022年9月發布的大模型系列的名字。2021年,阿里巴巴達摩院宣布,多模態大模型M6使用的參數規模從萬億躍遷至10萬億,成為當時全球最大的AI預訓練模型。同年,阿里達摩院發布了270億參數、1TB+訓練數據的中文預訓練語言模型PLUG。
張勇在發布會上強調,大模型是一場“AI+云計算”的全方位競爭,超萬億參數的大模型研發,并不僅僅是算法問題,而是囊括了底層龐大算力、網絡、大數據、機器學習等諸多領域的復雜系統性工程,需要有超大規模AI基礎設施的支撐。
2022年8月,阿里云推出全棧智能計算解決方案“飛天智算平臺”,為“通義千問”打下了一定基礎。2022年,阿里云占中國云市場份額的36%,排名第一。
排名第二的是華為云。4月8日,華為云人工智能領域首席科學家田奇在人工智能大模型技術高峰論壇中分享了華為云盤古大模型的進展和應用,認為“AIforIndustry”將是人工智能新的爆發點。
在此之前,華為云官網上線了盤古系列AI大模型的最新消息,一時拉高了人們對華為的期待值,但田奇的分享只是“將老的內容重新拿出來簡單介紹”。對于自然語言大模型,他僅用一句話帶過其應用進展,表示盤古自然語言處理大模型目前覆蓋智能文檔檢索、智能ERP、小語種大模型等落地領域,2022年華為剛交付了一個阿拉伯語的千億參數大模型。
實際上,華為云從未明確表示4月將發布新的大模型,也從未透露過有關盤古大模型的產品計劃。
而在4月13日,知乎創始人、董事長兼CEO周源正式發布“知海圖AI”中文大模型,邀請AI加入知乎“討論場”。根據知乎自己的介紹,知乎和面壁智能合作開發的“知海圖AI”已經運用進了知乎熱榜,知乎首個大模型功能“熱榜摘要”上線并開啟內測,“利用超強的語言理解能力對知乎熱榜上的問題回答進行抓取、整理和聚合,并把回答梗概展現給用戶,給大家直觀清晰的回答。”
天氣預報大模型與自動駕駛大模型
在大廠消息異常喧鬧之下,一些垂直領域的大模型也在相對低調地發布著。
4月7日,上海人工智能實驗室協同中國科學技術大學、上海交通大學、南京信息工程大學、中國科學院大氣物理研究所及上海中心氣象臺發布了全球中期天氣預報大模型“風烏”。
據介紹,該模型基于多模態和多任務深度學習方法構建,首次實現在高分辨率上對核心大氣變量進行超過10天的有效預報,并在80%的評估指標上超越DeepMind發布的模型GraphCast。此外,“風烏”僅需30秒即可生成未來10天全球高精度預報結果,在效率上大幅優于傳統模型。
上海人工智能實驗室科學家白磊介紹,“風烏”的領先性體現在預報精度、預報時效和資源效率三方面:在預報精度方面,相比于傳統的物理模型,“風烏”誤差降低19.4%;在預報時效方面,“風烏”基于再分析數據達到10.75天;在資源效率方面,現有物理模型往往運行在超級計算機上,而“風烏”AI大模型僅需單GPU便可運行,30秒即可生成未來10天全球高精度預報結果。
4月12日,致力于自動駕駛的人工智能技術公司毫末智行發布自動駕駛生成式大模型DriveGPT“雪湖·海若”。該公司稱,其目標是實現端到端自動駕駛,現階段主要用于解決自動駕駛的認知決策問題,后續會將毫末智行多個大模型的能力整合到自動駕駛生成式大模型DriveGPT。
自動駕駛生成式大模型是指,將輸入的自然語言文本串換成智能駕駛感知到的過去場景,輸出則變為包括自車決策規控、障礙物預測以及決策邏輯鏈等條件在內的未來場景。
根據毫末智行的介紹,“雪湖·海若”的參數規模達到了1200億,初始化模型共使用了4000萬量產車駕駛數據訓練。它能夠對各種場景做生成式任務,但這些生成結果還需要按照人類偏好去調優,在安全、高效、舒適等維度上做出取舍。
毫末智行科技有限公司成立于2019年,總部位于北京,企業注冊資本約1.4億元人民幣,2022年完成A+輪融資,交易金額數億人民幣。投資者包括美團和高瓴。
ChatGPT火熱以來,自動駕駛大模型已成為業內探討的焦點話題。在今年2月的2023全球人工智能開發者先鋒大會上,云驥智行聯合創始人兼執行副總裁曹光植表示,自動駕駛終局之戰已開始,它應該是端到端的自動駕駛大模型架構,非常類似于GPT大模型,“我們相信終究會出現一個針對自動駕駛的大模型。”但是,“雪湖·海若”是否能成為這個賽道的有力競爭者,還有待觀察。
“天工3.5”與“序列猴子”
進入4月中旬,更多國產大模型的消息陸續傳來。
4月17日,由昆侖萬維和奇點智源合作自研的的大語言模型“天工3.5”開啟內測。昆侖萬維稱,“天工”大模型已經非常接近ChatGPT的智能水平,因為ChatGPT是基于GPT3.5大模型,所以將大模型命名為“天工3.5”。對于“天工”大模型的表現,昆侖萬維CEO方漢稱,“比較符合研發預期。滿意的是文本生成和文案撰寫很驚喜,實用性會很好。”
不過,深交所在4月11日盤后向昆侖萬維科技股份有限公司下發關注函,要求其說明“天工3.5”可能面臨的風險,包括但不限于商業化、運行、技術、行業等方面,并再次提醒不得利用市場熱點題材進行“蹭熱點”等違法違規行為。
昆侖萬維科技股份有限公司成立于2008年,企業注冊資本約1.18億元人民幣,最初以網游題材上市,上市之后在海外進行了多元化發展,業務包括瀏覽器、社交、娛樂、新聞等板塊。根據其介紹,2020年昆侖萬維研發團隊從一億級模型做起,上升至十億級模型,再到百億級模型。項目累計投入數億人民幣,組織數百人研發團隊。
北京奇點智源科技有限公司成立于2021年,企業注冊資本1000萬元人民幣。根據其官網介紹,該公司致力于實現通用人工智能,目前聚焦于大規模預訓練語言模型及開發者API的研發工作。
4月20日,人工智能公司出門問問發布多模態大語言模型“序列猴子”,稱其參數量在幾百億規模,具備“知識、對話、數學、邏輯、推理、規劃”能力,支持文字生成、圖片生成、3D內容生成、語音生成和語音識別等任務。基于“序列猴子”,該公司還發布了多項AIGC產品,包括AI寫作平臺“奇妙文”、AI繪畫平臺“言之畫”、AI配音平臺“魔音工坊”、數字人視頻與直播平臺“奇妙元”。
出門問問CEO李志飛對比了“序列猴子”和GPT-4:“如果說GPT-4是100分,我們的模型是50分。”目前“序列猴子”還需解決三大問題:結合個性化數據回答問題、降低胡說八道的概率和增強上下文的記憶能力。
李志飛曾在谷歌AI團隊就職,2012年回國創辦出門問問,從事智能語音技術業務。公司誕生之初備受資本追捧,但在近十年的發展歷程中,最初的光環逐漸黯淡。今年2月,前美團聯合創始人王慧文發布著名的“出資5000萬美元打造中國版OpenAI”的“英雄帖”時,李志飛就坐在他的對面。
與其他喜歡表現漢語言文化底蘊的大模型名稱不同,“序列猴子”的命名靈感來源于數學家埃米爾·波雷爾在20世紀初提出的“無限猴子”定理。根據該定理,如果一群猴子隨機地敲打一臺打字機,最終一定會產生完整的莎士比亞作品。
何以判斷?
老虎證券股票分析師BoPei近日在接受香港媒體采訪時表示,圍繞ChatGPT大張旗鼓的動作表明了市場是多么渴望新的投資敘事,“經過這么多年的發展,西方和中國互聯網行業都已飽和,渴望一個新的方向。”
但是,當國產AI大模型的推出速度以周為計甚至以天為計時,我們該如何判斷各家大模型的水平?除了像一名普通用戶一樣在互聯網上同題提問對比回答質量,還有沒有更專業的測試和評價方式?
顯然,需要更專業的評估與測試。上海人工智能研究院研究員王錦對澎湃科技解釋稱,通常需要使用測試數據集來評估大模型性能,也可以根據模型中的參數數量來判斷模型的復雜度。模型的響應時間也是一個重要的衡量因素,最主要的還是在線上環境實際應用時,通過監測模型在生產環境中的表現來判斷其水平。
那么,目前國內開發大模型的思路是否都是在努力復現ChatGPT的成功路徑?
王錦解釋道,“ChatGPT的成功對全球AI領域產生了巨大影響,肯定會有許多公司和研究機構參考GPT系列模型,但以ChatGPT和GPT-4為代表的生成式人工智能模型結構和訓練方法都是不公開的,并沒有辦法按照技術路線進行復現。大模型的基礎架構是共同的,但除了主體架構外的訓練方法和網絡架構方面的技術創新與融合都需要創新和探索。”
同時,在實現ChatGPT的表現效果方面,仍有一些技術需要探索。比如建立高質量的數據集,對千億級標記的編碼技術,卡訓練和推理的分布式計算設計,生成對話交流的能力,以及倫理安全方面的考慮和設計等。“此外,中文語料的訓練難度較大,因為中文數據的質量較差、數量較少,中文語言訓練的難度較高,目前的ChatGPT中文表現也不佳,這些都需要繼續研究探索。”王錦說。
對于國內外AI公司的技術差距,清華大學計算機科學與技術系長聘副教授、聆心智能創始人黃民烈向澎湃科技坦言,“就底層技術而言,中國有很多團隊和公司都有,但在最終體現的系統能力上,我們存在著一定的差距。”這里面有企業家精神、資本環境、人才、技術理念等多方面的因素,非常復雜。比如大模型研究,是做一個項目,還是實現通用人工智能的最終理想?比如資本,是為了短期逐利,還是能夠堅持長期投入?
中國哪個機構最有機會做出類ChatGPT產品?粵港澳大灣區數字經濟研究院認知計算與自然語言中心文本生成算法團隊負責人王昊對澎湃科技表示,從技術實力、數據和計算資源來看,國內百度等大型企業具備開發類ChatGPT的實力。但是在新興領域,尤其是人工智能領域,沒有歷史包袱的初創公司也有很大機會。在大量投資及核心算法人員支持之下,這些公司通常擁有更加靈活的戰略規劃。總的來說,最有機會的一定是能夠堅定不移地執行其戰略規劃,并擁有足夠的技術實力和創新能力的團隊。
黃民烈則表示,國內科技公司的難點不在于什么時候推出中國版ChatGPT,而是在這股AI浪潮中能否有深入的遠見和創新性的想法,才能迎面趕上甚至超越。
中國針對大模型最有發言權的人之一、奇績創壇創始人兼CEO陸奇則在4月22日的一次演講中指出,中國創業者應認清這次歷史性的拐點時刻,定位今天的時代坐標、找準自己的位置。“我個人最反對蹭熱,你要做大模型,想好到底做什么,大模型真正是怎么回事,跟你的創業方向在哪個或哪幾個維度有本質關系。”他還打了一個比方:“這個時代跟淘金時代很像,如果你那個時候去加州淘金,一大堆人會死掉。但是賣勺子、賣鏟子的人永遠可以賺錢。”
目前看來,這些國產大模型都還處于非常早期的發展階段,無論是面向C端還是B端,基本都在內測。與此同時,國家互聯網信息辦公室4月11日發布《生成式人工智能服務管理辦法》,生成式人工智能的監管法規已處于出臺在即的狀態。
還有一些大模型產品仍在被期待中。4月21日,科大訊飛總裁吳曉如表示,科大訊飛將在5月6日正式對外發布科大訊飛“星火”大模型。4月9日,京東集團副總裁何曉冬在人工智能大模型技術高峰論壇上表示,京東計劃在今年發布新一代產業大模型“言犀”。騰訊則表示,將在5月發布“混元”AI大模型,首測將有超過12億的微信用戶同時訪問。
過去兩個月可能只是一個開始,但已經給了我們什么樣的啟示?
原文作者:Rui,?SevenXVentures2022年底我共同發起了DeSciNYC社區,在紐約定期舉辦聚會,內容涵蓋從AI驅動的蘑菇科學、蜜蜂神經研究到區塊鏈技術.
1900/1/1 0:00:00社區爭議不斷的Sui,還值得投資嗎? 撰文:Leo 從去年開始炒的Sui終于發幣了,二級市場比較關心Suitoken估值.
1900/1/1 0:00:002023年4月,香港交易所官方發布了一份名為《ETF與全球金融市場虛擬資產生態圈的發展》的研究報告.
1900/1/1 0:00:00作者:GuyWuollet,a16z;翻譯:金色財經0xnaitive“代幣”是加密貨幣和web3領域的熱門話題.
1900/1/1 0:00:00金色財經報道,根據周四的公告,英國稅務局正在征求公眾對DeFi借貸和押注的稅收處理的擬議變化的意見.
1900/1/1 0:00:00原文作者:flowie,ChainCatcher昨日,Layer?1公鏈?SeiNetwork?宣布繼完成一輪估值為?8?億美元的3000萬美元融資后,其生態基金又完成5000萬美元新一輪融資.
1900/1/1 0:00:00