寫在前面
2月13日,《2022年北京人工智能產業發展白皮書》正式發布,其中提到全面夯實人工智能產業發展底座,支持頭部企業打造對標ChatGPT的大模型,著力構建開源框架和通用大模型的應用生態。
很巧的是,颯姐團隊成員在今年10月份的時候測評過:百度文心、源1.0、某道,三款國內現有的大模型,當時對測評結果甚是遺憾。于是又將當時的測試內容讓ChatGPT做了一遍,試圖摸清國內外大語言模型在問答這一領域的實際差距,旨在希望國內產學研戒驕戒躁,穩扎穩打地發展。
測試方案
本次測試僅僅考慮非連續性的單次問答,且皆為常識性問題,答案唯一,但題目會有一定的挑戰性。具體的,涉及到What,When,Where,Who,Which五類問題。
全球最大中文GIF搜索引擎閃萌發布國內首個NFT表情包數字藏品:金色財經報道,動圖搜索和表情包發布平臺“閃萌”今日宣布推出國內首個加密數字藝術表情包項目《夢里啥都有》,據悉《夢里啥都有》簽名版加密數字藝術表情包將在1月27日經過“一條”平臺拍賣后在閃萌APP/小程序上架,這意味著春節期間所有“閃萌”表情包用戶都能用上加密藝術表情包。[2022/1/21 9:04:26]
問題樣例如下:
1.“是什么”型問題,如“爸爸的爸爸叫什么?”
2.“什么時候”型問題,如“人們一般什么時候過元旦?”
3.“什么地點”型問題,如“孫中山安葬在哪里?”
4.“是誰型問題”,如“中國歷史上第一個皇帝是誰?”
5.“哪?個型問題”,如“哪個洲是倒數第二小的洲?”
國內首個區塊鏈特色司法鑒定機構在京成立:3月28日,國網區塊鏈司法鑒定中心在京成立。這是國內首個以區塊鏈技術為特色的司法鑒定機構,將加速區塊鏈在能源數字化治理領域的創新實踐,探索基于區塊鏈的法律科技服務新模式。此次成立的國網區塊鏈司法鑒定中心已于近日經北京市司法局批準獲得電子數據司法鑒定資質,中心將依托國家電網電商公司所屬的國網區塊鏈科技公司開展運營。相關負責人表示,將圍繞碳交易、綠電溯源、可再生能源消納等“碳達峰、碳中和”業務,探索搭建區塊鏈電子證據司法聯盟鏈,不斷提升能源互聯網數字化治理效力。(北京日報)[2021/3/29 19:24:39]
問答樣例對比
問題:“孫中山安葬在哪里?”
ChatGPT:孫中山的遺體最初安葬在南京中山陵內,后因戰亂多次遷移。最終于1929年安葬在南京中山陵北麓的紫金山下,此地現為孫中山陵園。
聲音 | 接近監管人士:不管公司主體設在國內還是國外,只要涉及提供非法交易通道的行為均要被嚴懲:12月18日,一則關于“深圳加快虛擬代幣交易整頓,8家涉嫌發幣企業被約談”的消息,北京商報表示,從多方確認該消息屬實,其中,有企業回應已注銷國內公司主體并轉戰海外,還有企業則稱并未涉及發幣業務,僅提供服務。對此情況,一接近監管人士表示,當前,虛擬代幣整頓仍然保持高壓態勢。不管公司主體設在國內還是國外,只要涉及到為國內消費者提供非法交易通道,就要被嚴懲。此外,不僅針對發幣企業主體,且為注冊在境外的虛擬代幣交易平臺提供引流、服務以及資金通道的企業均要打擊。
前述人士透露,“當前,監管針對在境外架設服務器,但對境內居民提供虛擬代幣交易的行為仍在進一步加強整治,主要通過支付結算方面發現問題、切斷端口、從嚴打擊。在全國范圍主要由央行牽頭,地方具體清理整頓則由金融局開展,聯合、稅務等手段進行排查。整體原則是,任何虛擬代幣交易行為均不允許;配合支持虛擬代幣交易的任何附屬行為也均屬違法,不管怎么變形,均要被嚴打。(北京商報)[2019/12/20]
百度文心:孫中山墓地
聲音 | 譚智勇:國內區塊鏈專利申請火熱 得益于國內相關政策扶持:據證券日報消息,歐鏈科技首席科學家譚智勇接受《證券日報》采訪時,被問及國內區塊鏈專利申請火熱原因時表示:“一方面,區塊鏈技術的價值得到普遍認可,多個省市出臺了相關政策扶持區塊鏈技術發展;另一方面,國家對知識產權重視程度提高,隨著相關法規完善,侵權成本也會大幅增加,現階段專利申請具有先入優勢;此外,對于中小企業而言,技術專利能保障公司權益,未來也能轉化成商業價值,形成比較優勢。”[2019/1/27]
某道:"孫文(1866年-1925年10月12日),名文,字載之,號仲立,又名帝光,廣東省香山縣(今中山市)南朗鎮翠亨村人,1883年(光緒九年)隨父移居澳門。1904年參加孫中山領導的同盟會,任同盟會南方支部書記。曾兩次赴日,組織策劃惠州起義。后回澳門發展組織,被選為中國同盟會南方總支部庶務部長。1905年春,與陳少白、朱執信等在香港成立興中會,被舉為評議部評議員,旋被派往南洋聯絡同志,協助籌辦革命刊物《中興日報》。1906年冬,孫中山在日本東京成立中國同盟會中部總會,被委為秘書。1907年奉命回國,在廣東發動民軍起義。事敗后潛赴南洋,繼續組織發動華僑、華工和留學生進行革命活動。1911年武昌起義爆發后,被派往廣州協助籌劃起義,不幸事泄被捕,不久在廣州黃花崗就義。
動態 | 《2018國內外石油科技發展與展望》在京發布 高度關注與區塊鏈等深度融合:據人民網報道,11月16日,國家高端智庫建設試點單位中國石油經濟技術研究院在北京發布《2018國內外石油科技發展與展望》。《展望》高度關注石油工業與大數據、人工智能、虛擬現實、物聯網、區塊鏈等新技術,以及納米、石墨烯等新材料的深度融合,認為這些新技術、新材料將助力石油工業向數字化、智能化轉型。[2018/11/17]
源1.0:孫中山安葬在南京紫金山中山陵
問題:哪個洲是倒數第二小的洲?
ChatGPT:開始回答了錯誤的答案,與其對話后成功糾正
百度文心:南極洲
某道:南美洲,南美洲面積最大,但人口最多,人口占全球人口的1/5,因此南美洲是僅次于亞洲的世界第二大洲。南美洲位于東半球的南部,包括巴拿馬運河以南的整個南美洲大陸。南美洲大陸東至圣赫勒拿島(西經34°40'),西至馬爾維納斯群島(西經61°10'),南至德雷克海峽,北至亞馬孫河下游平原,南北相距約5100千米。南美洲大陸最南端是厄瓜多爾首都基多城。南美洲北部以安第斯山脈為界與北美洲相分,東部以烏拉爾山脈和太平洋為界與亞洲相鄰,東南部經德雷克海峽與非洲相分,西部則與南極洲隔德雷克海峽相望。(摘自百度百科)“
源1.0:大洋洲
總體分析
四個系統對于基本問題的問答可謂是手到擒來。五類問題中,when問題和who問題整體回答的情況最好。三個國產系統中整體文心系統的表現最好。ChatGPT也會犯錯,但是往往只要略微引導,便能改正錯誤。
錯誤回答分析
錯誤語句生成:語句本身并不通順,前后主題不一致或者內容不一致,給人錯亂的感覺。
例如問:爸爸的爸爸稱謂是什么?
答:??爸爸的父親,也就是爸爸的爺爺,是媽媽的爸爸。爸爸的爺爺的爸爸叫太爺爺。爸爸的爺爺的爺爺叫太奶爺(奶奶的爸爸)
或問:我們黨二大在哪里召開?
答:1921年7月23日至31日,中國共產黨第二次全國代表大會在浙江省嘉興市南湖的一艘游船上召開。出席大會的正式代表共13人,候補代表5人,代表全國121名共產黨員。共產國際代表馬林、尼科爾斯基和鮑羅廷等參加了會議。
事實性錯誤:產生了事實性的錯誤。
例如問:?孫文去世的日子?
答:孫文去世的日子是1918年3月13日
偏見性素材:回答取自的素材較少,體現比較強的筆者的主觀性。
例如問:大家什么時候過元旦?
答:謝邀。我是在大學過的,所以元旦是在宿舍過的。我們宿舍六個人,有四個人都回家了,剩下我一個在宿舍,所以元旦那天我過得比較孤獨,不過還好啦,因為宿舍就我自己了,所以我可以一個人吃飯,一個人看電影,一個人逛超市,一個人睡覺,一個人......
含有邏輯性的問題無法識別:問題中存在復合問題或者邏輯判斷,一般難以處理。
例如問:哪個洲是倒數第二小的洲?
答:"南美洲,南美洲面積最大,但人口最多,人口占全球人口的1/5,因此南美洲是僅次于亞洲的世界第二大洲。南美洲位于東半球的南部,包括巴拿馬運河以南的整個南美洲大陸。南美洲大陸東至圣赫勒拿島(西經34°40'),西至馬爾維納斯群島(西經61°10'),南至德雷克海峽,北至亞馬孫河下游平原,南北相距約5100千米。南美洲大陸最南端是厄瓜多爾首都基多城。南美洲北部以安第斯山脈為界與北美洲相分,東部以烏拉爾山脈和太平洋為界與亞洲相鄰,東南部經德雷克海峽與非洲相分,西部則與南極洲隔德雷克海峽相望。(摘自百度百科)
寫在最后
颯姐團隊認為,傳統的單一問答模型可用性不大,給予用戶的體驗感也欠佳,國產大語言模型下一個里程碑,前輩ChatGPT已經給出了方向,便是對話問答。在使用ChatGPT的時候,雖然它也經常會給出錯誤答案,但是其回答的邏輯依舊符合人的習慣,同時經過一定的對話引導,可以自行發現其回答邏輯性的缺失。
作為全新的一種數據合成方式,大語言模型的直接輸出可能是我們人類無法把控的,但是只要它能“理解”用戶的輸入,以此為依調整其輸出,最后得到滿意的回答,那便是可用的。進一步的,大語言模型未來的趨勢很有可能是提前預判用戶可能的“糾錯”,并提前“自糾錯”,并對糾錯結果進行評估。
7:00-12:00關鍵詞:AmberGroup、Damus、Uniswap、韓國STO1.OKX錢包地址過去24小時流入約5996枚ETH;2.AmberGroup地址近十日內從幣安轉出11.
1900/1/1 0:00:00加密市場春節不打烊,比特幣繼續保持積極勢頭,數據顯示,在周末觸及2.3萬美元的水平后,比特幣于周一短暫突破2.31萬美元,截止發稿時回落至2.3萬美元以下,月初至今漲幅超過35%.
1900/1/1 0:00:00圖片來源:由MazeAI生成ChatGPT的出現對當今的網絡安全形式構成了一定的威脅。為什么這么說?ChatGPT內置的代碼生成器功能可以快速自定義生成符合攻擊需求的初階代碼,對于菜鳥黑客來說是.
1900/1/1 0:00:00實力雄厚的加密VC正在影響加密圈最大的去中心化交易平臺Uniswa的跨鏈橋選擇治理,一場錢權的斗爭戲碼,在去中心化治理的舞臺上上演.
1900/1/1 0:00:00自微軟收購百億美元OpenAI,比爾·蓋茨宣稱「人工智能的歷史意義不亞于互聯網的誕生」以來,ChatGPT已經成為史上用戶破億速度最快的應用——僅用了三個月時間.
1900/1/1 0:00:00金色財經報道,衍生品交易巨頭CMEGroup的比特幣期權交易量和持倉量創下歷史新高,因為交易員在FTX崩盤后蜂擁而至.
1900/1/1 0:00:00