以太幣交易所 以太幣交易所
Ctrl+D 以太幣交易所
ads
首頁 > ETH > Info

元宇宙行業專題研究:VR、AR、腦機接口是通往元宇宙的入口_元宇宙

Author:

Time:1900/1/1 0:00:00

來源:華泰證券

元宇宙應用對硬件提出更清晰的需求,將推動人機交互逐步升級

我們認為VR/AR/腦機接口是集合了微顯示、傳感器、芯片和算法等多項技術在內的下一代人機交互平臺。回顧整個人機交互發展歷程,我們看到人機交互的指令輸入形式和反饋輸出形式都在朝著更低的操作門檻和更高的交互效率演變。當前我們正站在智能手機時代和下一個交互形態的交界處,我們認為盡管VR/AR在輸入技術和輸出技術方面均較上一代交互設備有顯著飛躍,但目前仍處于發展的早期階段。隨著元宇宙應用的發展和內容生態的完善,元宇宙對硬件的需求逐步清晰,將推動VR/AR/腦機接口設備的逐步升級,最終有望出現可以和PC、智能手機媲美的下一代硬件。

從人機交互發展史來看,當前我們處在什么階段?

低操作門檻與高交互帶寬是人機交互平臺核心發展方向

我們梳理了人機交互不同發展階段下輸入和輸出形式的特征和演變趨勢,認為兼具便捷操作性和高交互帶寬的AR/VR/腦機接口將有望引領下一代交互方式。人機交互主要是指人和系統互相影響、互相作用的循環過程。具體而言,人類在接收并處理信息后通過行為輸出指令,計算機接受指令后改變系統形態,再通過顯示輸出反饋信息并被人類感知,從而引發人腦的信息處理和下一個人機交互過程。回顧人機交互發展歷程,過去的人機交互主要經歷了卡帶式交互、問答式交互和音視覺交互這三個階段,輸入和輸出形式持續向貼近人類本能進化。

從指令輸入形式的演變來看,在最早期的卡帶式交互階段,人們只能用穿孔卡向計算機單向傳遞數字指令,指令單一且具有極高的使用門檻;隨著主機的出現,人類可通過鍵盤鍵入命令語句來實現與計算機的問答,雖然較上一代輸入設備提高了鍵入效率,但仍要求操作者記住大量命令語言;隨著個人PC時代全面到來,通過使用鼠標鍵盤組合,結合“點/敲擊、滾動、拖拽”等動作,操作者可輕易實現快速切換和精準定位,顯著降低了操作門檻;而在手機時代,實體按鍵的消失及音頻輸入、觸摸屏的陸續出現則進一步豐富了用戶輸入方式,簡化交互流程。我們看到人機交互的輸入形式從用機器語言與機器交互,進化到了用自然語言與機器交互。

從反饋輸入形式的角度,人機交互經歷“命令行界面-圖形用戶界面-自然用戶界面”的更迭過程,對應視覺輸出內容從單調的一維語句到二維圖形,最終有望以三維空間物體的形式呈現,同時輔以聲學設備強化聽覺輸出效果。此外輸出設備也從大型主機、臺式屏顯,演變至筆記本電腦、手機甚至微型投影,逐步走向可移動化。

元宇宙來臨,有望帶動VR/AR/腦機接口蓬勃發展

我們認為VR/AR/腦機接口將是下一個交互時代的代表性操作平臺,主要因為其高度符合輸入和輸出形式上的演變趨勢。輸入角度,VR/AR消除以往的實體按鍵,主要結合了手勢輸入、眼動追蹤、面部表情識別以及語音操控,而腦機接口則由肌電輸入進一步轉變為腦電輸入;輸出角度,VR將為用戶構建一個融合視覺、聽覺、觸覺等多維感官體驗的移動虛擬空間,AR則將其與現實空間疊加,充分實現虛實融合。

初期的VR/AR概念分別在上世紀50-60年代先后提出,之后20年內經歷了漫長的實驗室開發和B端商用探索,波動上升中產品形態不斷向輕量化、小型化、深度沉浸迭代。2010年以后,隨著互聯網和智能手機終端的逐步成熟和消費端持續滲透,ARVR應用開始C端落地的探索。進入21世紀的第二個十年,元宇宙被預言將成為互聯網的下一個形態,而ARVR也被寄希望成為元宇宙中全新的人機交互平臺。

Qculusquest2帶動VR出貨量首次達千萬。2020年9月Oculusquest2推出后迅速成為爆款,持續銷售火熱。2021年在這款VR產品的推動下,VR銷售量近1000萬臺,達歷史新高,其設計范式也為國內廠家競相模仿。未來,我們看到隨著應用生態的持續成熟,相應的對VR硬件也提出了升級要求。我們認為下一代的顯示單元的清晰度或將從目前的4K提升到8K,重量也將從近500g下降到300g左右,同時目鏡厚度將降至目前的1/3,也將搭載更多傳感器,實現眼動追蹤、手勢追蹤等更多的交互方式。

AR技術路徑繁多,micro-LED+衍射光波導被寄予厚望,但短期難出現成熟產品。現階段AR仍處于探索期,從出貨量來看,2020年至2021年均維持在20-30萬件之間;從產品形態來看,目前仍然以大廠為主導,以一體機產品為主流;從技術來看,目前路徑繁多,但均存在性能、良率、體積等問題。micro-LED+衍射光波導被認為是最有望實現大規模商用的AR光學系統,但由于micro-LED在巨量轉移等仍存在技術問題,短期或難以實現大規模商用。

元宇宙應用場景依次落地,或將定義下一代VR/AR/腦機接口升級方向

我們認為隨著元宇宙應用場景的清晰化,未來VR/AR/腦機接口的發展方向逐漸明確。早期的硬件設備受制于應用場景和內容單一化、用戶對硬件設備的體驗不完善等缺陷,初代VR/AR并未實現大規模增長。當前時點,我們看到游戲、電商、協同辦公、社交、健身、醫療、視頻和模擬訓練等元宇宙應用場景正逐漸清晰,這對VR/AR/腦機接口硬件端提出了更高的需求,有望驅動包括微顯示技術、三維重建、生物傳感器、肌電/腦電處理、全身追蹤、空間定位在內的多項底層技術不斷完善。

元宇宙時代的應用比移動互聯網時代更強調沉浸感和交互感,不同應用對兩種效果的側重各有不同。其中,沉浸感可通過更豐富的音畫效果和更多維度的感官交互獲得,例如借助場景渲染、沉浸聲場、溫度模擬、觸覺傳感等技術營造出逼真的虛擬場景,使大腦產生“身臨其境”的感覺;交互感則需借助多樣化的輸入方式來降低人機交互的操作門檻,例如直接通過識別語音或讀取手勢來傳達指令,無需打字或操作鍵鼠/按鈕,增強互動效率。我們認為根據不同應用對沉浸感和交互感的要求高低,可以將其分為三個層次:

1)漸成熟:視頻和模擬訓練。其中模擬訓練包括安全教育、公共安全演練、思政教育等等,對沉浸感和交互感要求最低,目前已有商業化案例;而視頻領域對沉浸感的要求相對更高,但由于流媒體平臺內容生態已經較為完善,隨著VR配套硬件向C端滲透,我們認為視頻將是率先成熟的領域之一。

華策影視:與咪咕公司將在元宇宙場景應用、全版權等方面合作:4月24日消息,華策影視4月24日公告,公司當日與咪咕文化科技有限公司簽訂戰略合作協議。本次合作雙方將以精品內容IP為核心,以5G、AI、虛擬制作等數字科技為驅動,以現實空間與元宇宙比特空間為場景,以運營商流量為入口,通過全IP聯動,在元宇宙場景應用、全版權、音樂及音視頻彩鈴、內容生產和內容聚合等方面開展戰略合作,創新商業模式,共同構建“新內容+新消費”的產業空間,結成“科技內容生態共同體”,實現5G和AI時代的多元內容變現。[2023/4/24 14:23:45]

2)發展中:電商、社交、游戲、辦公、健身。其中電商與游戲更側重于追求沉浸感,而社交和協同辦公對交互感的要求更高。

3)萌芽期:醫療,具體包括疾病監測、輔助微創手術、信號讀取、刺激干涉和仿生等。疾病監測隨著ECG心電圖、血糖、血氧等生物傳感技術的成熟有望加速落地,而輔助手術、刺激干涉和仿生等領域對輸入和輸出的精確度要求極高,相關企業及醫療機構仍在探索中。

游戲:強調“沉浸感”的元宇宙游戲需要多平臺/VRAR/云原生技術作為底層技術支撐

當前游戲已具備元宇宙所擁有的虛擬身份、朋友、經濟系統等特點,但未能給玩家完全帶來“沉浸感”,硬件方面主要受制于近眼顯示和多維感官傳感技術不夠成熟。未來,元宇宙游戲將朝著更強的沉浸感與更豐富的內容生態方向發展,需要借助成熟的場景渲染和沉浸聲場技術增強聲畫效果,借助全身運動追蹤、傳感器、空間定位等技術增強臨場感。我們認為優質的游戲內容創新將與VR/AR硬件升級互相形成正反饋效應,促進元宇宙游戲生態的發展,并為高性能計算芯片、硅基OLED、MicroLED以及相關設備組裝企業帶來增量空間。

電商:虛實交融的沉浸式購物模式為近眼顯示、AI芯片、傳感器帶來發展機遇

傳統電商平臺仍主要以圖片和視頻等平面化形式展示商品。盡管近年來電商直播、AR試妝等形式興起,一定程度上彌補了傳統電商在購物時較為單薄的觀感體驗,然而對于服飾等SKU豐富的非標品類商品,用戶仍然無法對其進行在線試品。在“在線即在場”的終極需求驅動下,元宇宙時代的電商有望進一步突破物質世界屏障,通過AR/VR/MR等新一代人機交互平臺實現視聽甚至觸覺等多感官交互的購物體驗,創造如3D虛擬商場、數字展館等消費者購買場景。我們認為這一進程主要依賴于近眼顯示、三維重建、觸覺傳感乃至虛擬人等技術的成熟,將為相關微顯示、傳感器、芯片企業帶來增長空間。

協同辦公/社交:借助手勢追蹤、語音識別、眼動追蹤、虛擬化身實現互動感

未來元宇宙辦公/社交有望突破物理空間的局限,將帶來最接近實地面對面的工作和交友體驗,提升辦公生產、溝通、協作效率。當前移動互聯網階段的遠程辦公距離理想模式有一定差距,工作效率與溝通效果仍存在局限性。而元宇宙辦公/社交則強調互動感,例如,用戶可以全程通過手勢操作,即可滿足在VR虛擬空間中舉手、豎大拇指點贊等功能,顯著降低人機交互平臺操作門檻,同時實現無距離感互動。這一場景的實現將主要借助手勢讀取、眼動追蹤、語音識別、空間定位等VR/AR底層技術。

醫療與健康:VR/AR/腦機硬件將搭載先進生物監測以及腦電信號處理技術

在VR/AR方面,盡管目前已出現了拳擊、攀巖、球類運動等輔助健身的應用,欠佳的硬件佩戴體驗卻限制了用戶使用時長。一方面,VR設備的眩暈感仍未完全消除,運動健身應用中高速變換的場景將進一步加劇不適感;另一方面,目前主流VR頭顯的重量大多在300g以上,VR一體機甚至普遍超過500g,大大增加了佩戴者運動時的負擔。因此,顯示技術和輕薄化是硬件廠商重點攻克的方向,我們看好具有超輕薄、高清晰度、低功耗、低延遲等特點的硅基OLED,以及具有無感佩戴且不妨礙正常視線優勢的入眼式AR設備的發展機會。

在生物監測方面,當前隨著心率監測、血氧檢測技術的成熟,已有部分智能手環和手表產品中引入了醫療級功能,我們認為向著更專業的醫療設備進化將是智能穿戴重要發展方向。未來,智能穿戴產品有望大規模搭載ECG心電圖以及無創血糖檢測等新功能,針對老年群體、慢病群體提供更專業的服務,這也對血糖、血氧等生物監測技術提出了更高的要求。長期來看,人機交互硬件在醫療與健康領域有望拓展到服務神經系統和肌肉系統癱瘓的患者,這一需求將為腦機接口技術創造可觀的發展前景。

視頻:VR/AR技術帶來高沉浸感的流媒體觀賞體驗

傳統影視作品、長視頻與短視頻仍主要通過電視、影院、視頻平臺等媒介傳播,受制于平面化的表現形式,內容的表現力仍有較大提升空間。元宇宙時代,觀眾有望使用先進VR/AR設備更沉浸地觀看電影、現場實況、音樂會等內容,娛樂性與體驗感將迎來質的飛躍。目前包括Netflix和愛奇藝在內的長視頻平臺已對“元宇宙+視頻”的落地做出了積極探索,例如Netflix為美劇《怪奇物語》推出VR體驗,愛奇藝推出主打觀影功能的手機盒子。借鑒移動互聯網時代對短視頻生態的孵化歷程,元宇宙作為互聯網的下一站,也為視頻創作提供了新的可能性,例如通過建模、動作捕捉、人工智能制作出的虛擬人物能夠參演影視劇集,影視與視頻內容創作有望迎來新的高光期。

模擬訓練/教育:將實現虛擬空間中對實體環境的仿真映射

模擬訓練是指將現實中的場景復刻到虛擬世界中,應用于軍事訓練、工業設計、教學訓練、安全應急演練等較為復雜或具有高危險系數的領域。工業領域中,制造業企業將在仿真虛擬空間中充分利用各類數據,優化工業生產環節中的設備工藝和作業流程。軍事和安全應急領域均有進行模擬演練的需求,未來有望在虛擬場景開展更大規模和更復雜的軍事和應急訓練,實現節省訓練成本、提高安全性的目的,如曼恒科技研發出上海浦東機場的VR火災應急演練系統,使用VR和5G云渲染技術模擬機場火災突發事件及機場消防員在危險場景下如何開展消防應急救援,幫助提升機場系統整體應急能力。鑒于模擬訓練用途的特殊性,其對沉浸感和交互感的要求相對而言較低,無需依賴高端硬件設備加成,目前已有曼恒科技、壹傳誠等企業實現了商業化。

北京副中心元宇宙行動計劃發布,首提跟蹤NFT、聚焦數字藏品等舉措:金色財經消息,北京通州區與北京市科委、中關村管委會,北京市經信局聯合印發了《北京城市副中心元宇宙創新發展行動計劃(2022-2024年)》(以下簡稱《行動計劃》)。根據《行動計劃》,副中心將聚焦培育元宇宙細分產業鏈,打造數字設計、數字人、混合現實、數字藝術4大產業鏈條;引入云上內容創作生產線企業,促進內容創作數實共生,打造數字內容創作生態圈;探索數字資產權益全生命周期管理,跟蹤NFT(非同質化通證)技術前沿動態,大力發展數字資產交易服務;加快安全芯片、零信任網絡、可信計算等技術的研發和產業化,持續強化區塊鏈技術攻關與應用,打造數字信任的安全保障體系。[2022/8/24 12:44:27]

2AR/VR:下一代人機交互平臺

VR:Oculusquest2打造爆款范式,技術創新路徑清晰

VR是VirtualReality的縮寫,指計算機圖形技術、計算機仿真技術、傳感器技術、顯示技術等多種科學技術,在多維信息空間上創建一個虛擬信息環境,提供使用者關于視覺、聽覺、觸覺等感官的模擬,能使用戶具有身臨其境的沉浸感,具有與環境完善的交互作用能力的一種嶄新的人機交互手段。

目前常見的VR由頭戴式顯示設備和手柄組成。其中,頭戴式顯示設備集成了顯示、計算、傳感器等設備,通過將人對外界視覺、聽覺的封閉,并由左右眼屏幕分別顯示左右眼的圖像,引導用戶產生一種身在虛擬環境中的立體感。而手柄則負責輔助追蹤使用者手的位置、提供交互使用的按鍵,以及簡單的觸覺震動反饋。

VR頭顯經歷VR盒子、VR頭盔、VR一體機三階段,爆款產品持續主導硬件消費市場。?2Q21全球VR產品出貨量達212.6萬臺,同比增長136.4%,其中OculusQuest2出貨量占75%,持續主導市場。從2014年開始,行業銷量由爆款產品主導的特點仍然沒有變化。

1)三星GearVR:VR盒子時代的主流產品。三星與Oculus合作打造,推出時與Galaxy系列進行了捆綁營銷,2016年年銷量達到最高,近400萬臺。使用方法是將手機放在VR盒子前,使用專用APP進行觀影。但因發熱、暈眩等問題,事實上體驗并不優秀。

2)PSVR:VR頭盔時代銷量第一。事實上VR頭盔時代HTC/Valve等產品性能比PSVR更加優秀,但主要偏向商用,價格高昂,出貨量較低。而PSVR價格相對較低,且與PS4進行了捆綁營銷,年銷量在100-200萬臺之間。

3)Oculusquest2:VR一體機爆款。為一大批其他VR品牌打下產品樣板。

OculusQuest2是一款充滿妥協藝術的產品,成本、硬件性能、消費者體驗等多方向平衡下,實現VR產品基本功能設想。

與VR頭盔相比,我們認為Quest能夠成功的原因包括以下幾點:

1)盡管會加大設備的重量,但也省去了用戶花近10000元購買PC主機的成本,降低了用戶的進入門檻。2)去除了與主機相連的連接線,提升了用戶的移動空間和使用場景,用戶不再需要一個獨立的空間并且配備主機,而只需要在室內任意閑置空間即可使用。3)在追蹤方式上,摒棄了傳統的采用的outside-in方式,因而不需要外部立發射接收器。轉而采取基于攝像頭的inside-out方式,實現6DoF頭、手追蹤。4)當遇到芯片算力不足的情況,Quest2同樣支持串流模式,可以作為PCVR使用,也滿足了消費者對于高渲染3A大作的需求。

與Quest1等前代一體機對比:

1)與Oculusquest1相比,第二代產品將OLED換為Fast-LCD屏幕,將外觀設計簡化,縮減了成本。2)將芯片從驍龍835升級到XR2,提升了處理器、顯示、影像和AI性能。改變后產品刷新率顯著提高,分辨率有所改善,眩暈問題得到極大改善,基本實現一款入門級VR產品的設想。

當前VR硬件組成與智能手機供應鏈高度重合:通過Ifixit的拆機我們看到Oculusquest2頭顯主要零部件包括顯示、光學透鏡、傳感器、主板、電池產品:

1)顯示模塊主要使用Fast-LCD顯示屏,接近4K分辨率,并具備90-120Hz刷新率;2)光學使用軟件預處理搭配菲涅爾透鏡提供寬視場、失真色差少的正確圖像;3)傳感器:包括四顆攝像頭,用于追蹤頭部、手部運動以及顯示灰白透視畫面;4)主板:包括高通的SoC芯片XR2、電源管理芯片,DRAM、NAND、WiFi等芯片;5)電源:3640mAh。

2022年VR將迎來一波創新技術潮流,MetaVR產品迎來升級,蘋果推出高端產品。根據digitimes,我們推測Meta下一代VR升級產品將于明年推出,將引入pancake光學模組和更多傳感器,以實現產品輕量化,并升級手勢識別、眼動跟蹤等功能;而蘋果也將在2022年底推出一款高端VR方案,這款高端產品能夠會重新定義VR這個產品形態。我們預計這款產品將配備Micro-OLED顯示屏,復合菲涅爾透鏡pancake方案,全彩影像透視、搭載更多傳感器,為消費者帶來全新混合現實體驗。

Pancake短焦光學是公認的下一代VR升級方向,使VR頭顯更加輕薄。在Meta較早的pancake技術專利中,我們可以看見一個顯示組件包括具有四分之一波片和部分反射表面的第一透鏡、具有反射偏振器的第二透鏡和顯示器,實現頭顯的輕薄化。我們認為,蘋果同樣在探索使用三個菲涅爾透鏡堆疊,形成輕薄透鏡組的方案。改進光學透鏡后的VR產品將實現輕薄化,頭顯重量或由原來的500g降低至200-300g。

Meta攝像頭數量或提升,充分利用驍龍XR2芯片算力。我們認為Meta下一代VR產品與蘋果MR產品將會增加傳感器,主要是攝像頭的種類與數量。高通在其官網上披露,高通驍龍XR2芯片算力最多可支持7顆攝像頭,并可以此實現MR混合現實功能。我們認為Meta下一代或充分利用驍龍XR2算力,為產品進行功能升級。

上海布局元宇宙等“新賽道” 促進細則6月底公布:近日,在“2022上海全球投資促進大會暨‘潮涌浦江’投資上海全球分享季啟動儀式”上,上海在官宣集中簽約、開工一批總投資超7200億元的重磅項目的同時,還宣布重點切入元宇宙、綠色低碳、智能終端、數字經濟四個“新賽道”,并公布了相應的投資促進方案。

據方案預測,到2025年,上海元宇宙產業規模突破3500億元,智能終端產業規模突破7000億元,綠色低碳產業規模力爭突破5000億元。不過,《中國經營報》記者從上海經信委方面獲悉,上述四個“新賽道”只是提出初步目標和方向,而具體促進細則需等到今年6月底才能向社會公布。(騰訊新聞)[2022/6/25 1:30:57]

顯示實現方法:Meta或沿用Fast-LCD顯示屏幕,而蘋果或使用Micro-OLED,提供升級視覺體驗。我們認為Meta下一代或沿用FastLCD屏幕,與quest2分辨率差別不大,但具有像素級控制的先進背光,可以展示和OLED一樣的純黑底色;而蘋果或使用高分辨率、高對比度、寬色域、快速響應的Micro-OLED顯示屏,隨之而來的或是高昂的售價,新一代蘋果MR產品售價可能達到1500-3000美元,高于當前Oculusquest2的最低售價299美元。

AR:產品處于概念期,Micro-LED+衍射光波導技術突破被寄予厚望

AR是促使真實世界信息和虛擬世界信息內容之間綜合在一起的較新的技術內容,與VR不同的是,AR能夠將真實環境和虛擬物體之間重疊之后,在同一個畫面以及空間中同時存在。AR中的關鍵技術包括跟蹤定位技術、虛擬與現實合并技術、顯示技術與交互技術。

目前AR眼鏡也可以分為一體式和分體式,從出貨量看當前一體式為主流。分體式指計算單元或電池等結構與頭顯分開,如Nreal頭顯支持通過type-C接口與智能手機、PC連接,允許將智能手機中、PC的內容無縫傳輸到眼鏡中,用戶可以在其中查看內容。而一體式AR產品則將顯示器、傳感器、計算、人類理解、環境理解等系統集成在一個頭顯上,提供更便捷體驗。

AR銷量較小,增速波動明顯,仍處于概念期。根據IDC,2020-2021年AR年出貨在20-30萬之間,增速波動大。從品牌來看,除Epson和微軟外,其他較多品牌并沒有實現AR的持續大規模銷售,常常在1-2個季度的爆發后銷聲匿跡,消費端市場上沒能出現標桿性的品牌,我們認為AR作為一款消費電子產品仍然處于概念期階段。

長期看AR增量潛力更大,C端市場仍在等待成熟技術方案。我們認為長期來看AR終端有望替代手機,實現年出貨量超過10億臺,但目前來看實現這個目標時日尚早。從應用看,AR產品仍未出現殺手級的應用場景。從技術角度看,雖然OLED+Birdbath方案已經比較成熟,但因透光性差等原因,形似墨鏡的設計不能支持全環境的使用。而其他微顯示系統如LBS/LCoS/DLP等搭配光波導的方案仍在探索過程中。

從需求講起:一款合格AR眼鏡需要怎樣的配置

顯示:微顯示單元與光機模組決定亮度、對比度、刷新率、分辨率等指標。目前市場上AR眼鏡的近眼顯示系統即使用微顯示器作為圖像源器件,由其產生圖像后投射到自由曲面/光波導等光學模組中,再進入人眼。由于AR像源產生的圖像將與太陽光一起進入人眼,戶外若不加墨鏡,入眼亮度需超過2,000nits,甚至達到5,000nits,才能在各種天氣狀況下清楚的顯示圖像。據我們估算,目前一款光波導眼鏡的光效率大約為3-5%,即像源亮度至少要在10萬nits左右,才能滿足AR眼鏡的亮度需求。此外,75Hz以上的刷新率、25°視場下720P的分辨率、支持局部刷新及低功耗狀態下靜態圖像的維持,是一款AR眼鏡的及格線。

人、機、環境的有效交互:SLAM+傳感器+AI用于理解環境、理解使用者、實現虛擬信息和現實世界的結合。為了實現虛擬信息和真實場景的疊加,需要實現使用者的空間定位追蹤和虛擬物體在真實空間中定位。除此之外,為了將虛擬信息與輸入的現實場景無縫結合在一起,增強AR使用者的體驗,還需要考慮虛擬事物與真實事物之間的遮擋關系以及實現幾何一致、模型真實、光照一致和色調一致。從上世紀80年代發展到現在,SLAM傳感器、算法、技術框架等持續改進,是實現自我姿態評價以及虛擬圖像反饋,構建人與虛擬內容的有效交互的主要手段。

其他:能耗、適應性、體積重量。一般來說,一款比較成熟的AR產品還需要滿足其他要求,包括-40°~80°的溫度適應區間、5000多小時的整體使用壽命,合適的配重,300g左右的重量等等要求,這些要求也會對微顯示系統、電池、光學模組等其他零部件的選擇提出約束。

微顯示技術:MicroLED有望成為AR主流

當前已提出的微顯示技術包括OLED/LCoS/DLP/LBS等待,但這些技術均無法兼顧成熟性、性能、成本等指標。MicroLED是業內公認的AR顯示最佳解決方案,但存在技術尚不成熟、量產難度大等問題,真正大面積商用可能要到2025年左右。

LCoS——限制較多,逐漸淡出

LCoS作為微顯示技術存在比較明顯的限制,逐漸淡出微顯示領域。LCoS的優勢在于技術成熟,成本低廉,像素密度高且功耗低,在早期的AR設備中應用較多,如靈犀微光靈犀AR(LCoS+幾何光波導),MagicLeapOne(LCoS+衍射光波導)。但劣勢也相對明顯,如對比度較低,特別是在大入射角情況下;由于必須和PBS配合使用而限制了整體光機的小型化和輕量化進程;低溫狀態下無法工作,環境適應性較差等。因此,大量廠商都在積極尋求使用LBS/DLP等方案代替LCoS,2018年以后搭載LCoS的新機型逐漸淡出。

Web3元宇宙應用平臺數字人DIP處于測試階段:據官方消息,數字人DIP(DigitalPeople)由1998年成立的海外基金-全球數字經濟聯合會支持,Web3Labs與MetaStars進行技術主導,以DAO作為第一戰略驅動,搭建虛擬人元宇宙應用場景。目前該生態處于基礎價值網絡建設階段,在測試發展階段社區開發者參與的近250人,初步實現了5000價值用戶的基礎建設,其社區AMM參與用戶達600多人,據其社區自治組織DAO成員表示,DIP(DigitalPeople)將會多社區分布完成基礎100萬級別的用戶網絡建設,逐步搭建技術生態,實現元宇宙生態的基本社會推廣和應用。[2022/3/27 14:19:50]

硅基OLED——亮度較低,目前難以應用于戶外AR場景

硅基OLED的缺點也比較明確,應用局限于VR及類似設備。目前市場上主流的硅基OLED產品亮度均小于3000nits,與10萬nits的要求相去甚遠,難以應用于戶外AR場景。同時,由于產品的生產工藝更加復雜,其價格比LCoS貴50%以上,但使用壽命在高亮度模式下將低于3000小時且極有可能出現燒屏的情況,整體性價比更低。因此,雖已有部分AR廠商使用硅基OLED替代LCoS,但其仍不是AR像源的最佳解決方案。

LBS——激光二極管對溫度敏感、分辨率較差

與LCoS等其他顯示技術相比,LBS技術優勢明顯。LBS系統主要由激光、光學器件和MEMSMirror組成由于LBS使用激光光源進行逐像素渲染,相較其他非激光、逐幀渲染方案天然具有延遲低、畫面滯留時間短、亮度高、能耗低、色彩豐富的優勢。此外,為獲得更大的視場角和更高的解析度,其他技術必須增加微鏡的數量并放大產品尺寸,而LBS方案僅通過改變MEMS微鏡的振動頻率和反轉角度即可實現,因而更易實現光機的輕量和小型化。。

對LBS技術可能的限制來自于較低的分辨率和畫像質量。當前主流的LBS產品分辨率約720P,提高分辨率可能需要較高的成本。AR硬件/軟件企業Rave首席科學家KarlGuttag將搭載LBS光機的HoloLens2代和搭載LCoS光機的HoloLens1代進行對比測試后發現,雖然HoloLens2的垂直視場角較1代提升近一倍,但其在分辨率、色彩均勻性等方面的表現均更差。此外,HoloLens2實拍圖色彩飽和度更低,觀感模糊,霧度也更大。

DLP——對溫度敏感,難以小型化

DLP由于成本高、體積大等缺陷,在AR場景中的應用有一定限制。DLP系統的核心是TI專利的DMD芯片,它由數百萬個高反射的鋁制獨立微型鏡片組成,每個鏡片通過數量龐大的超小型數字光開關控制角度。這些開關可以接受電子訊號代表的資料字節,然后產生光學字節輸出,將輸入DMD的視頻或圖形信號轉換成高清晰度的、高灰度等級的圖像。DLP由于以鏡片為基礎,提高了光通效率,因此DLP投影系統比所有其他顯示系統具有更強的亮度。然而,由于其設計難度大、結構復雜、生產成本高、體積大等劣勢,目前在AR、HUD等設備中應用并不普及。

MircoLED——仍處在早期階段,較多技術問題需要解決

MicroLED產品性能絕佳,是業內公認的AR顯示最佳解決方案。MicroLED即LED微縮技術,通過將傳統LED陣列化、微縮化后定址巨量轉移到電路基板上形成超小間距LED,可將毫米級別的LED長度進一步縮小到微米級。相較其它技術,MicroLED產品性能在亮度、對比度、工作溫度范圍、刷新率、分辨率、色域、功耗、延時、體積、壽命等多方面具備較大優勢,被期望為下一代主流顯示技術的重要路徑。

MicroLED的發展瓶頸在于微米級的像素尺寸和間距給量產和全彩方案所帶來的巨大挑戰。?MicroLED的生產包括芯片和背板制造、巨量轉移、接合、驅動和檢測維修等環節,由于其晶粒尺寸在微米級,生產單個成品即需要處理數百萬甚至數千萬晶粒,對技術的效率和良率提出了極為嚴苛的要求,現有技術水平還無法滿足其量產需求。而MicroLED晶粒的發光效率、波長一致性和良率也尚未達到MicroLED彩色化顯示的要求。基于此,現有MicroLED屏幕價格高昂,單片售價即大于1000美金。2018年三星演示的采用microLED技術的TheWall電視,146寸版報價高于10萬美元。

光學模組:從幾何光學到納米光學

與VR的不同之處在于,AR眼鏡需要透視,既要看到真實的外部世界,也要看到虛擬信息,所以成像系統不能擋在實現前方,這就需要多加一個或一組光學組合,通過層疊的方式,將虛擬信息和真實場景融為一體,設計包括自由曲面,光波導等。

生產方式從幾何光學到納米光學。傳統的光學透鏡加工方式為切割/注塑/涂層/拋光等等,但隨著光波導等光學模組的復雜化,傳統加工工藝帶來了生產流程復雜、良率低等問題,國內外包括Digilens,WaveOptics,至格科技,瓏璟光電等廠家開始探索納米壓印、紫外光加工等加工方案。

自由曲面解決方案:自由曲面棱鏡/反射鏡,BirdBath

三種方案微顯示器的光線來源都來自于眼睛上方:

1)BirdBath方案:分光鏡同時反射和投射光線,使用戶在看清現實世界的物理景象時,也可看到微顯示器生成的數字影像。位于分光鏡一側的凹面鏡用來反射光線,將光重新導向眼睛。采用Birdbath結構的AR眼鏡通常體積較大,視場角中等。由于分光鏡為半透半反鏡,光線經過分光鏡時被多次反射,每次反射都會產生50%的光損,因此能量損失嚴重。

2)自由曲面反射鏡:僅使用一個曲面反射鏡收集來自于微顯示器和現實世界的光線。采用自由曲面反射鏡結構的AR眼鏡也具有較大體積,可實現的視場角為50°~100°,但視場角大小取決于光源大小。由于光線僅被反射一次,自由曲面反射鏡結構的光損明顯降低。

3)自由曲面棱鏡:巧妙地將兩個折射面,一個全內反射面和一個部分反射面合并到一個元件中,增加了結構的自由度。此種結構可以增大視場角,同時提高成像質量,但光學元件的厚度較大,通常需要一個校正棱鏡來消除環境光從自由曲面棱鏡的折射。

張家界景區人士回應研究元宇宙:張家界元宇宙研究中心是具有官方背景的正規組織:11月20日消息,日前,張家界元宇宙研究中心在武陵源區大數據中心正式掛牌。張家界也成為全國首個設立元宇宙研究中心的景區。張家界景區此舉引來不少爭議。

對此,武陵源風景名勝區和森林公園管理局相關人士表示,張家界元宇宙研究中心是具有官方背景的正規組織。目的是將武陵源區數字化轉型與元宇宙技術對接應用,“我們是很認真地推進這個事情。”[2021/11/21 7:01:40]

光波導技術解決方案:幾何/陣列光波導,浮雕光柵光波導,布拉格光柵光波導

光波導技術是應AR需求而生的一個比較有特色的光學組件。因它的輕薄與外界光線的高穿透特性而被認為是消費級AR眼鏡的必選光學方案。

AR眼鏡中光的傳輸關鍵在于“全反射”。其實,波導技術并不是新發明,光纖就是波導的一種,只不過傳輸的是我們看不見的紅外波段的光。光機完成成像過程后,波導將光耦合進自己的玻璃基底中,通過“全反射”原理將光傳輸到眼睛前方再釋放出來,就完成了圖像的傳輸。

對視場角的需求對玻璃基底材料提出要求。越是大的視場角,就需要越高折射率的玻璃基底來實現。因此傳統玻璃制造商比如康寧(GLWUS)和肖特(Schott,未上市),近年來都在為近眼顯示市場研制專門的高折射率并且輕薄的玻璃基底,還在努力不斷增大晶元尺寸以降低波導生產的單位成本。

具體來看,當前光波導技術可以分為下面三種:

1)幾何/列陣光波導。該概念和專利一直由以色列公司Lumus提出并持續優化迭代,基本原理是耦合光進入波導的一般是一個反射面或者棱鏡。在多輪全反射后光到達眼鏡前方時,會遇到一個“半透半反”鏡面陣列,將光耦合出波導。

幾何/列陣光波導目前大都只能實現一維擴瞳。這里的“半透半反”鏡面陣列相當于將出瞳沿水平方向復制了多份,每一個出瞳都輸出相同的圖像,這樣眼睛在橫向移動時都能看到圖像,這就是一維擴瞳技術(1DEPE)。

幾何/列陣光波導工藝流程復雜,良率提升難度極大。“半透半反”鏡面陣列的鍍膜工藝中,由于光在傳播過程中會越來越少,陣列中這五六個鏡面的每一個都需要不同的反射透射比(R/T),以保證整個動眼框范圍內的出光量是均勻的。并且由于幾何波導傳播的光通常是偏振的,每個鏡面的鍍膜層數可能達到十幾甚至幾十層。

這些鏡面是鍍膜后層層摞在一起并用特殊的膠水粘合,然后按照一個角度切割出波導的形狀,這個過程中鏡面之間的平行度和切割的角度都會影響到成像質量。因此,即使每一步工藝都可以達到高良率,這幾十步結合起來的總良率卻是一個挑戰。每一步工藝的失敗都可能導致成像出現瑕疵,常見的有背景黑色條紋、出光亮度不均勻、鬼影等。

2)浮雕光柵衍射光波導。傳統的光學結構被平面的衍射光柵取代,通過材料表面浮雕出來的高峰和低谷,在材料中形成了一個折射率的周期性變化。通過設計光柵的參數(材料折射率、光柵形狀、厚度、占空比等)可以將某一衍射級(即某一方向)的衍射效率優化到最高,從而使大部分光在衍射后主要沿這一方向傳播。

用衍射光柵可以實現二維擴瞳,digilens和WaveOptics分別具有兩種技術方案。?HololensI,VuzixBlade,MagicLeapOne,Digilens等使用的方法是,當入射光柵將光耦合入波導后,會進入一個轉折光柵的區域,這個區域內的光柵溝壑方向與入射光柵呈一定角度,那么它就像一個鏡子一樣將X方向打來的光反射一下變成沿Y方向傳播。另外一種實現二維擴瞳的方式是直接使用二維光柵,即光柵在至少兩個方向上都有周期,將單向“溝壑”變為柱狀陣列。WaveOptics就是采用的這種結構,從入射光柵耦合進波導的光直接進入一個具有二維柱狀陣列發區域,可以同時將光線在X和Y兩個方向實現擴束,并且一邊傳播一邊將一部分光耦合出來進入人眼。

3)布拉格光柵衍射光波導。利用光全息術在記錄材料薄膜上記錄點光源的干涉條紋,再經過處理制成光柵條紋結構的薄膜光學元件,具有光束準直、聚焦、偏轉等功能。其對光的衍射符合布拉格定律,只有滿足布拉格條件的入射光才會被衍射,不滿足布拉格條件的入射光不被衍射。目前在做全息體光柵(VHG)波導方案的廠家比較少,包括十年前就為美國軍工做AR頭盔的Digilens,曾經出過單色AR眼鏡的Sony,還有由于被蘋果收購的Akonia。

優點顯著,探索持續進行。這種技術具有體積薄,重量輕,且可同時記錄多個全息圖等優點,使它能夠替代許多傳統的光學元件,如棱鏡、立方體分束器和光柵等,進一步減小AR頭戴式顯示器體積。由于體光柵由于受到可利用材料的限制,能夠實現的折射率差有限,導致它目前在FOV、光效率、清晰度等方面都還未達到與表面浮雕光柵同等的水平。但是由于它在設計壁壘、工藝難度和制造成本上都有一定優勢,業內對這個方向的探索從未停歇。

SLAM:理解環境與使用者,實現虛擬信息和現實世界的結合

SLAM,同步定位與地圖構建,指在運動過程中通過重復觀測到的環境特征定位自身位置和姿態,再根據自身位置構建周圍環境的增量式地圖,從而達到同時定位和地圖構建的目的。

現代流行的SLAM系統大概可以分為前端和后端。前端通過傳感器實現數據關聯,研究幀與幀之間變換關系,主要完成實時的位姿跟蹤,對輸入的圖像進行處理,計算姿態變化。后端主要對前端的輸出結果進行優化,得到最優的位姿估計和地圖。

SLAM傳感器、算法、技術框架等持續改進,實現自我姿態評價以及虛擬圖像反饋,構建人與虛擬內容的有效交互。從上世紀80年代發展到顯現,配合SLAM算法的傳感器出現了視覺,慣性/磁性,以及聲吶,2D/3D激光雷達等一系列解決方案。SLAM算法也從開始的基于濾波器的方法向基于優化的方法轉變,技術框架也從開始的單一線程向多線程演進。

SLAM在ARVR中有較多應用,AR中主要是1)現實物體與虛擬物體的有效交互,2)實現語義理解,優化智能輔助功能:

實現虛擬世界和現實世界之間坐標疊加、實現幾何物理信息交互。與電腦、平板、手機的3D顯示不同,AR更注重虛擬信息與真實信息的無縫融合,即圖像出現的平面位置與景深準確、帶來沉浸感的良好體驗。這就需要利用SLAM算法,準確疊加虛擬坐標系和真實坐標系。同時,真實環境中有高低起伏、有障礙物、有遮擋關系,AR可以讓虛擬信息跟這些真實環境中的物理信息進行交互。

實現語義理解,優化智能輔助功能。隨著機器學習和深度學習的發展,虛擬信息可以“理解”真實世界,讓二者的融合更趨于自然。當前計算機已經可以已經可以認出圖片上的內容,但沒有理解內容之間的關系,當前的一項研究方向是,應用SLAM+AI技術,通過特征提取,實現機器的語義理解,優化AR系統的輔助功能。

傳感器:交互方式與應用場景升級推動傳感器升級

AR中交互方式的升級,帶來更多樣信息需求。隨著人機交互由2D走向3D,交互方式逐漸多樣化,向人類本能發展,手勢交互、姿勢交互、眼動交互、語音交互,甚至結合生物信號、周圍環境交互的方式不斷進化,這對更多種類的信息提出了要求,用戶運動類、生物類信息,以及其他環境信息都將為人機交互提供底層支持。

大量信息需求為運動類、生物類、環境類各型傳感器提供增量機會。當前蘋果手機、手表廣泛運用多種運動、生物型傳感器,與之對比,VR爆款產品Oculusquest2頭顯僅搭載了4顆黑白攝像頭,手柄配備了兩組陀螺儀加速度計傳感器。未來,為實現更深度沉浸和更便捷交互,測距攝像頭、眼動追蹤攝像頭、精細化壓力傳感器,甚至生物型、環境型傳感器,都將逐漸配備。

3腦機接口:我們離科幻電影還有多遠?

對于大多數人來說,最早接觸腦機接口概念是從科幻電影中。不管是《X-戰警》中博士的意念控物,還是《黑客帝國》中錫安人通過接口與電腦相連,迅速學會各種各樣的知識和技能,并進入Matrix的虛擬世界中,再或是《沙丘》中人們通過腦科學的探索,不斷開發大腦潛能,通過訓練的領航員的大腦能夠媲美大型計算機,這些情節都讓人印象深刻,也是科學家不斷探索的方向。

人腦的潛能:一臺超級計算機?

使用電子計算機對人腦進行模擬需要172PFlops計算量。人的大腦有接近860億個神經元,每個神經元有1萬個連接點,掌管人類運動、聽覺、語言、嗅覺、記憶、思考、性格、情緒等功能。根據我們估算,如果想要以計算機來模擬人腦的活動需要172PFlops。人腦的潛能或能夠達到一臺超級計算機的運算能力。

腦機接口或支持人腦潛力持續開發。馬斯克提出的一個經典論述是“人類不能被AI淘汰,要與AI融合,在大腦和電腦之間創建一個接口”。隨著我們對腦科學的不斷認識和腦機接口技術下對人類肢體限制的不斷突破,人腦的潛能或得到釋放。

腦機接口:我們該如何定義?

腦機接口1976年由加州大學洛杉磯分校的雅克·維達爾(JacquesJ.Vidal)提出。一個完整的腦機接口過程包括信號采集、信息解碼處理、信號輸出/執行、反饋四個步驟實現。

腦機接口可以通過電、磁、光、聲進行信號采集與反饋,而腦電技術是目前主流探索方向。?事實上采集中樞神經信號以監測大腦活動的方法有很多種,包括腦電、功能近紅外光譜、功能磁共振成像等,反饋技術也同樣包括電、磁、聲、光多種。在這些監測技術中,腦電因為時間分辨率高、設備價格低廉且便攜等優點,逐漸成為腦機接口研究最主流的探索方向。

1)腦電采集:腦電采集是BCI的關鍵步驟,采集的效果、信號強弱、穩定性及帶寬大小直接決定后續的處理及輸出。由于大腦的中樞神經元膜電位的變化會產生鋒電位,或動作電位,并且神經細胞突觸間傳遞的離子移動會形成場電位,通過在大腦皮質的運動神經位置外接或植入微型電極,可以采集并放大這些神經生理信號。

2)信號解碼處理:信號處理是將轉化為電信號的大腦活動,去除干擾電波以及其他信號,并將目標分類并處理,轉化為可以執行輸出的對應信號。

3)信號輸出及執行:信號輸出指將收集并處理后的腦電波信號傳輸至已連接的設備器材,作為數據基礎加工內容,或反饋到終端機器以形成指令,甚至實現直接交互。

4)反饋:在信號執行后,設備將產生動作或顯示內容,參與者將通過視覺、觸覺或聽覺感受到第一步產生的腦電波已被執行,并觸發反饋信號。

根據腦電的采集方式,當前的腦機接口又可以分為侵入式、非侵入式

非侵入式更多用于消費端的腦電監測。非侵入式是在人/動物大腦外部佩戴腦機接口設備,通過采集腦電、神經電獲取腦部信息,但信息精度及分辨率較低,可用于簡單的信號判斷與反饋,但較難傳達復雜指令,如幫助肢體殘障人士通過意念操控機械骨骼,或用于VR/AR游戲應用的基礎手勢控制。非侵入式根據收集信息的不同可以分為EEG和MEG兩種。

1)EEG:通過導電凝膠將Ag/AgCI電極固定在頭皮上,以測量頭皮腦電信號,但一般只能監測到0-50Hz相對較窄頻帶中的信息。

2)MEG:通過測量細胞內離子電流引起的小磁場獲得信號,但由于高昂的成本和操作方法的繁瑣,MEG并不是一個理想的解決方案。

侵入式腦機接口主要應用于醫療康復領域。侵入式將設備直接植入到人/動物大腦灰質或顱腔內,能夠獲取相對高頻、準確的神經信號,不僅能夠通過讀取腦電信號來控制外部設備,還能夠通過精確的電流刺激讓大腦產生特定感覺。侵入式腦機接口可以分為ECoG、LFP、SUA等類型。

1)ECoG:測量大腦皮層電位,與EEG技術相似,但能夠監測到更大帶寬的信息;

2)LFP、SUA:測量大腦皮層場電位與鋒電位,可以通過Mircowirearray,Michiganarray,Utaharray,Neurotrophicelectrode等多種傳感器實現。

侵入式采取電信號的方法,具有較高的空間分辨率、良好的信噪比和更寬的頻帶,但目前仍然面臨著有創帶來的安全問題、難以獲得長期穩定的記錄、需要醫護人員長時間連續的觀察等問題,目前應用仍局限于醫療康復領域。

侵入式工具也出現了全新不開顱植入方案。2021年8月,來自美國加州伯克利大學的Synchron公司開發的微創腦機接口獲得美國食品藥品監督管理局(FDA)的人體臨床試驗批文。其腦機裝置微小,可以安全地穿過血管,因此直接利用頸靜脈植入BCI,使用導管手術將設備輸送到大腦和脊柱中,在兩小時無需開顱手術內即可將設備植入了患者大腦內。

由于不需要開顱手術,因此這種傳感器可以靈活布置在大腦多個位置,從而捕捉各種類型的信號。與傳感器相連的BrainPort接收裝置植入病人的胸口,它沒有內置電池,而是通過無線的方式進行供電以及數據傳輸,進一步提升了安全性。通過Synchron研發的BrainOS操作系統,可以將傳感器讀取到的信號轉化為與外界交互的通用信號,從而實現用大腦與外界交流溝通。

應用持續拓展支撐起近千億美元商用市場

醫療、消費市場應用的持續拓展或支撐起千億市場規模。隨著人們對大腦的認知、電極設計、和人工智能算法的精進,腦機接口領域應用也持續拓展,并向更加精細化發展。腦機接口相關的研發已經在仿生學、醫療診斷與干預、消費電子等多個領域進行持續探索,我們認為相關產品可能將在未來20-30年內陸續商業化,支撐起近千億美元的市場規模。

二十世紀七十年代到九十年代末,腦機接口技術經歷了從概念期到科學論證期的發展。二十世紀七十年代至八十年代,“腦機接口”專業術語出現,1977年JacquesJ.Vidal開發了基于視覺事件相關電位的腦機接口系統,通過注視同一視覺刺激的不同位置實現了對4種控制指令的選擇。1980年德國學者提出了基于皮層慢電位的腦機接口系統。二十世紀八十年代后,少數先驅研發了實時且可執行的腦機接口系統,并定義了至今仍在使用的幾種范式:

1)1988年L.A.Farewell和E.Donchin提出了著名且廣泛使用的腦機接口范式P300拼寫器,表明系統有望幫助嚴重癱瘓患者與環境進行通信和交互。不久后研究人員都開發出基于感覺運動節律的腦機接口系統,該系統可以控制一維光標向使用者反饋運動節律幅度,從而通過訓練實現通過想象控制小球向上或向下移動。

2)1990年左右GertPfurtscheller開發出另一種基于感覺運動節律的腦機接口,用戶必須明確地想象左手或右手運動,并通過機器學習將其轉化為計算機命令,這定義了基于運動想象的腦機接口。

3)1992年ErichE.Sutter提出了一種高效的基于視覺誘發電位的腦機接口系統,在該系統中設計了8x8拼寫器,利用從視覺皮層采集的視覺誘發電位識別用戶眼睛注視方向來確定他選擇拼寫器中的哪一個符號。肌萎縮側索硬化癥患者可以實現10個單詞/分鐘的通信速度。

二十一世紀以來腦機接口技術高速成長,新范式、新算法、新設備層出不窮,早期范式性能明顯提高。新型腦機接口實驗范式相繼涌現,如聽覺腦機接口、言語腦機接口、情感腦機接口以及混合腦機接口。先進的腦電信號處理和機器學習算法被應用于腦機接口,如空間模式算法、xDAWN算法等,新型的腦信號獲取方法如功能核磁共振成像測量的血氧水平依賴信號以及功能近紅外光譜測量的皮層組織血紅蛋白濃度等被用于構建非侵入式腦機接口。除此之外,早期開發的基于P300和視覺誘發電位的腦機接口性能得到了明顯提高,并在初步的臨床試驗中證明適用于肌萎縮側索硬化癥、腦卒中以及脊髓損傷患者。

近十年腦機接口研究范圍和規模持續擴大。規模上看,2018年第七屆國際腦機接口會議聚集了221個研究團隊。從技術普及方面看,消費級腦電傳感器和腦機接口系統問世并進入市場,免費開源的腦機接口軟件也不斷更新,腦電信號處理算法的性能顯著提高,同時提出了腦機接口人因工程,從用戶層面提高腦機接口的滿意度和實用性。目前腦機接口應用已經超過臨床醫學領域,拓展應用到情緒識別、虛擬現實和游戲等非醫學領域,被動腦機接口、協同腦機接口、互適應性腦機接口、認知腦機接口、多人腦-腦接口等眾多范式涌顯。

應用場景#1:醫療健康領域是腦機接口當前最接近商業化的領域

腦機接口可以幫助實時監控和測量神經系統狀態,輔助臨床判讀。“監測”型腦機接口應用方向十分多樣,包括評測陷入深度昏迷患者的意識等級,測量視/聽覺障礙患者神經通路狀態協助醫生定位病因等等。除此之外,通過結合腦電、視頻等多元信息進行診療,能夠輔助醫生判讀腦損傷、腦發育等多種臨床適應癥。

監測到的腦電信息可以用于加工、反饋,針對多動癥、中風、抑郁癥等做對應的恢復訓練。?例如,對于運動皮層相關部位受損的中風病人,腦機接口可以從受損的皮層區采集信號,然后刺激失能肌肉或控制矯形器,改善手臂運動;運動想象類腦機接口可以用于孤獨癥兒童的康復訓練,提升他們對于感覺運動皮層激活程度的自我控制能力,從而改善孤獨癥的癥狀,也可以通過腦電信號的反饋,訓練使用者的專注力。

基于電、聲、光、磁刺激進行神經調控的腦機接口已經實現商業化。相關應用包括:通過電刺激治療進行神經康復,主要針對腦卒中、帕金森等中樞神經或周圍神經損傷所致的運動功能障礙,如偏癱、肌萎縮、肌力低下、步行障礙、手功能障礙;通過顱磁刺激治療抑郁癥,以及對腦卒中所致的言語功能障礙、吞咽障礙、認知功能障礙進行治療。經顱磁刺激用于抑郁癥治療已在美國、加拿大、新西蘭、以色列等國家明確獲批,與藥物治療相比,經顱磁刺激具有副作用小、安全性高、無痛苦、不易成癮、不會影響認知功能等優勢。

非侵入式腦機接口智能義肢已經實現消費端使用。BrainCo強腦科技在2019年推出世界上第一款可以意識控制每一根手指的非侵入式智能仿生手后,在今年再次推出一款適合不同傷殘等級的仿生腿產品。根據公司介紹,這款產品每秒可提取2萬個肌電神經電數據,因此能快速、準確地識別用戶意圖,并根據環境、肌肉情況調整步態防止摔倒,實現高仿生體驗,還能夠支持攀巖、涉水等多種復雜操作,為殘障人士創造高品質生活,拓展了腦機接口技術在義肢方向的應用。

腦機接口也可以使喪失說話能力的人能夠恢復溝通能力。通過腦機接口輸出文字,或通過語音合成器發生,幫助脊髓側索硬化癥患者、重癥肌無力患者、以及事故導致高位截癱患者等重度運動障礙患者群體,通過腦機接口系統將自己腦中所想表達出來。

應用場景#2:消費電子與AIoT領域展開消費端應用

腦機接口技術可以與消費產品相結合,提供更直覺交互體驗。早在2014年,加難道公司ThalmicLabs就推出了一款臂帶式控制器Myo,通過感知肌肉的生物電活動,可以讓使用者只需要動動手指就可以無線控制身邊的計算機和其他數字產品。隨著技術的持續升級,當前臂帶式控制器可以實現通過識別活動意念帶來的電流進行控制,意念打字、意念操作玩具等已經不是幻想。

在腦機接口的支持下,游戲玩家可以用意念來控制VR界面的菜單導航和選項控制,獲得了獨立于傳統游戲控制方式之外的新的操作體驗;同時人們也可以用意念控制開關等,甚至控制家庭服務機器人,實現全新意義上的智能家居。

滲透率或隨AR及其他可穿戴產品普及持續提升。當前更加簡單形式的控制,比如眼動追蹤攝像頭、觸摸控制等或限制腦機接口交互需求。我們認為未來隨著一系列可穿戴設備比如AR眼鏡的普及,以及元宇宙的持續建設,基于腦機接口技術的消費電子產品滲透率將持續提升。

Tags:元宇宙LEDOLEMIC元宇宙數字虛擬人多少錢oracledataNaPoleonXCosmic Chain

ETH
上萬的虛擬鞋 到底在收割誰?_元宇宙

“虛擬世界,從來不缺新故事。”2017年,有媒體分析認為實體店將要崛起,25個“顯示”實體店將崛起的“信號”中,有1個信號便是實體店加速使用黑科技.

1900/1/1 0:00:00
橫向流動性:加密資產的價值如何跨鏈_區塊鏈

跨鏈方案也存在著三難問題:去信任化、可擴展性和可通用性。流動性的本質是價值交換。近年來,以太坊的市場占有率逐漸下降,越來越多的公鏈被廣泛地使用.

1900/1/1 0:00:00
Web3.0撕裂資本圈_WEB

Web3.0霸屏,又一個概念火了。和當初元宇宙概念興起時的情景類似,這一概念10多年前就有人提出過,在移動互聯網時代陷入增長瓶頸時期被熱捧,知名機構投它,投資人關注它,社交媒體上在討論它.

1900/1/1 0:00:00
比特幣跌穿1.8萬美元背后 有幣圈用戶交了50萬元學費 退出時僅剩下55元_比特幣

“晚上做夢做到自己抄底做多,直接被嚇出了一身冷汗,然后想起來自己已經不玩了,覺得又失落又慶幸。”6月19日,比特幣的暴跌行情下,一名幣圈用戶向北京商報記者打趣道.

1900/1/1 0:00:00
數字藏品=NFT?有關聯更有本質區別_NFT

近日,福建省發布了《福建省清理整頓各類交易場所工作小組關于防范NFT違規風險的提示函》(以下簡稱《提示函》),作出“不得未經批準從事NFT交易、不得違規變相參與NFT活動”等四條提示.

1900/1/1 0:00:00
三箭資本大敗局:ETH第一Holder身陷流動性危機_ETH

機構高調重倉后的第一個大熊市,底在哪里?加密市場陷入恐慌,利空正逐漸兌現。Luna崩盤、Celsius資不抵債、stETH脫錨……伴隨著一系列的壞消息,市場不斷觸及新低,毫無反彈.

1900/1/1 0:00:00
ads