<optgroup id="1r22b"><i id="1r22b"><code id="1r22b"></code></i></optgroup>
  • <span id="1r22b"><output id="1r22b"></output></span>

    <cite id="1r22b"><li id="1r22b"></li></cite>
  • <track id="1r22b"><small id="1r22b"></small></track>
    Meta元宇宙VR研發成果首度大公開

    Meta元宇宙VR研發成果首度大公開。在Meta公司Reality Labs部門實驗室中,有一面原型展示墻,陳列了實驗室設立七年來所開發的數十款VR眼鏡原型,有的輕巧如太陽眼鏡,但更多是笨重,大小不一的設備。這是去年改名為Meta的臉書,最重要的元宇宙研發基地,Meta創辦人暨首席執行官扎克伯格強調,我們的目標是打造出通過視覺圖靈測試的次世代VR體驗,這是目前還不存在的未來技術。這是第一次,Meta詳細披露了打造真實感VR眼鏡的四大挑戰和最新進展。

    QQ截圖20220624211856

    扎克伯格去年將臉書改名為Meta,來宣示全力進軍元宇宙的企圖心。VR眼鏡是Meta實現元宇宙大夢的關鍵設備,2015年就發布了所并購子公司Oculus的首款虛擬現實頭盔Rift,而Oculus團隊后來也成了Meta的VR研發部門,也就是Reality Labs。

    今年2月,Meta公布去年第四季財報時,也首度公布了Reality Labs部門的營收情況,雖然該季Meta的Reality Labs營收高達8.8億美元,但最后還是虧損了33億美元,而且逐季擴大中。最近更傳出Reality Labs部門將重整,要終止或延后部分項目,專注在核心產品開發。這些負面消息也引發外界對Meta元宇宙布局的疑慮。最近,Meta首度公開了Reality Labs部門歷年的研發成果,來消弭外界對發展不順的質疑。

    Meta元宇宙的戰略目標

    Meta元宇宙的戰略目標是,打造出媲美真實世界的虛擬世界,扎克伯格指出,如果有一天VR眼鏡可以媲美人類視覺的效果,可以實現“存在感”,讓你感覺好像跟另一個人實際待在同一個地方的感覺,可以幫助人們更好的交互,這是非常重要的事。不管是,你遠方家庭成員,或是項目協作的對象,你喜歡的藝術家,都可以讓他們跟你有同在一個物理空間存在的感覺。

    為何要打造媲美真實的3D感受,Meta旗下Reality Labs首席研究員Michael Abrash指出,真實的3D可以讓我們體驗,今天在虛擬世界體驗不到的感覺,尤其是與其他人的交互體驗,“必須改變感受系統,來趨近真實的情況,才能提供真正的臨場感?!彼扔?,這樣的VR眼鏡更可以創造出協同合作的可能性,能做到項當年打字機或計算機帶來的產業變革一樣。

    不只如此,“一旦可以打造出真實感的VR顯示器,就可以創造新一代的視覺體驗?!痹瞬裱a充,文化會適應科技所帶來的深度和豐富性,當新一代科技出現,就會帶來新的藝術和表現形式,每一個人都希望被了解,這個真實感VR顯示器,會成為一種強大的工具,可以用一種近似現實的方法來表達自己。

    不過,扎克伯格也坦言,要讓VR世界跟現實物理世界非常相似,是一件非常困難,但很有趣的問題,“這涉及我們在物理世界如何發現事情,包括眼睛如何處理信號,以及大腦如何解讀的挑戰?!庇绕?,人類視覺是高度集成的結果,不能只是看到一個高度真實的圖像,還需要很多其他的視覺線索,才會有一種很真實的感覺,“這是與只看計算機屏幕或電視屏幕,截然不同的感受?!?/p>

    不只是這些視覺線索的不同,除了提供3D立體圖片之外,觀看傳統屏幕時的對焦是固定距離,但真實世界,眼睛移動過程中,會針對不同的物體對焦。另外,顯示器也必須提供更廣大的視野,提供比傳統屏幕高非常多的分辨率,甚至,顯示屏幕必須能夠模模擬實世界的亮度和動態范圍,比現在的高清電視還要高10倍,顯示畫面還能夠快速延遲反映的眼球的動作,當用戶轉頭時,可以很快校正畫面的失真。這些功能都需要電力支持,尤其要支持GPU的運算,也要避免芯片發熱帶來的不舒適感。最后,所有這些組件都要安裝到一個大小適合的設備中。

    “只有一個部分沒有做好,實境感覺就會消失,這種實境破壞感,比2D平面更明顯?!痹瞬裉寡?,這就是真實感VR眼鏡的嚴峻挑戰,需要軟件、芯片技術、傳感器等各種技術的合作。

    參考圖靈測試,提出視覺圖靈測試來驗證VR眼鏡體驗

    為了用來判定VR眼鏡的效果,Michael Abrash指出,Meta內部提出了“視覺圖靈測試”的觀念,“我們的目標就是希望通過視覺圖靈測試?!盡eta參考了圖靈測試的做法,以“能不能分辨不出來這是人或計算機”來判定計算機是不是達到像人一樣的程度,視覺圖靈測驗就是,人類看到的VR世界,能不能跟真實世界一樣,分辨不出兩者的差別。而且這個測試要以人類主觀的感受來測試,而不是技術的衡量標準。不過,扎克伯格坦言,目前沒有任何VR設備能夠通過這個測試。

    真實VR眼鏡的第一個挑戰是超高分辨率

    很多人提到VR眼鏡的品質,就會提到分辨率,扎克伯格表示,分辨率是最重要議題,但VR眼鏡的分辨率問題跟傳統的分辨率挑戰不太一樣。在VR眼鏡中的視野,其實比現在最寬的屏幕還要更大,他預估,要達到1.0視力效果,就得在整個視野都都達到超過8K的分辨率,

    Meta自己設置的目標是,要達到視網膜分辨率效果的VR眼鏡,換句話說,每一度視野要提供到60個像素的分辨率,若是眼睛全視野都達到這個分辨率,就得比現有顯示器還要多好幾倍的分辨率才夠。

    不過,“人類視覺不需要所有像素都存在,所看到的完整視野中,不需要每一樣東西都對焦,只需要對焦的物體有高分辨率,而視野邊緣的分辨率可以稍低,但是,現在,任何一款顯示器都沒有辦法做到這件事?!痹瞬裾f。

    臉書曾有一款原型產品,稱為Butterscotch,可以提供超高分辨率,來達到1.0視力的文本識別效果,這是2015年時的Rift眼鏡或是當前的Quest 2眼鏡就都達不到的效果,可以看清楚視力檢測表上1.0的文本。

    Butterscotch是Reality Labs實驗室定制的原型,不是實際的產品,但是可以達到視網膜分辨率,是現在Quest 2虛擬現實眼鏡的2.5倍分辨率,但這款原型眼鏡的解法是,通過犧牲視野來達到更高的分辨率,通過混合鏡片,將視野的寬度縮小到Quest 2視野寬度的一半,才得到比較高的分辨率,可以看到非常細節。

    扎克伯格自己也曾測試過這款視網膜分辨率的VR眼鏡,他說:“可以看到非常銳利的圖像,體驗很好,但沒辦法賣,因為設備的重量很重,而且圖像過于銳利,戴久了也會不舒服?!?/p>

    通過這個原型的實測,一方面可以看到超高分辨率VR眼鏡的模樣,也讓Meta的Reality Labs團隊意識到,真實的圖片需要達到這樣的分辨率,扎克伯格指出,顯示器科技會一代一代進步,幾年后就會達到。

    不過,新時代視覺體驗的挑戰不只是分辨率而已,甚至還有一些平面顯示設備不會出現的挑戰。例如,VR眼鏡獨特的挑戰是VR所用的鏡片是曲線鏡,會造成圖片變形,就得靠軟件來校正,但是,這個變形還會隨著眼睛移動而改變,長時間佩戴看到失真圖片,會造成不舒服、疲勞的感覺。另一個挑戰是對焦的挑戰,眼睛會想要對焦物體,但是,顯示器是以固定距離來投影,就得解決不同距離的聚焦問題。

    動態對焦是第二個挑戰

    2015年開始銷售第一款VR頭盔Oculus Rift的時候,當時,Meta就發現到對焦距離的挑戰。因為當時是第一次在VR眼鏡的視野中出現了手,就遇到了移動過程的對焦挑戰。因為手會在VR世界中揮動,就會出現對焦距離不固定的問題。

    現實世界的眼球,會不斷改變形狀來應對我們看的距離和成像,但是,當前的VR光學系統采用的是固定不能彎曲的實體透鏡,焦點固定在約5~6英尺的位置,方便用戶看到比較遠的地方。在真實世界中,人類的眼睛可以捕捉到不同深度和位置的各種微妙線索,但在

    VR眼鏡中,若眼睛試圖聚焦觀看近處或遠方的物體,卻無法做到時,就會覺得有點模糊也會讓眼睛疲勞,這是3D眼鏡跟2D顯示器的差別,用戶觀看2D顯示器時,不需要真的觀看到很近或很遠的物體。

    為了解決這個問題,Meta的解法是動態移動鏡片,來改變景深,就像是相機自動對焦的感覺。后來,Meta用了1個月的時間,做出了第一款變焦的VR眼鏡原型,可以提供正確的焦深,尤其是看近的對象,會更清楚。

    Meta在2015年打造出的第一款變焦VR眼鏡原型,裝上馬達來改變顯示器鏡頭位置,非常笨重,但從此確定了變焦是可以更接近真實的未來技術目標。

    這個VR眼鏡原型裝上了馬達,來調整顯示器的鏡頭位置,雖然這是一款非常笨重的眼鏡,不是可以上市的產品,但卻讓研究團隊大受激勵,讓他們體驗到未來可以達到什么樣程度的現實程度,所以戴過這款原型的人都同意,可以讓比較近的物體看起來很銳利,隔年,

    Meta進一步打造了一款可以關注眼動,根據眼球運動來進行變焦的原型。通過機械變焦的顯示器,能夠提供適當的景深,搭配眼球關注技術,針對用戶在看的區域,即時提供失真校正,補償這個區域的放大效果,只有用戶看到的物體,會比較清楚,就像在真實世界,你聚焦觀看的物體會更清楚一樣。

    “這個早期原型,讓我們意識到,我們做對事情了,變焦真的可行,可以提供更吸引人的體驗?!盧eality Labs Research顯示系統部經理Douglas Lanman回憶。通過原型確定變焦VR眼鏡發展方向,下一步就是要進行用戶研究,通過更有說服力的科學實驗來證明。

    開發輕巧變焦VR眼鏡原型,展開用戶體驗研究

    Reality Labs Research FAIR項目經理Marina Zannoli先前在Reality Labs Research顯示系統團隊中擔任視覺科學家,也是負責新時代VR眼鏡第一次用戶研究的負責人。

    為了了解變焦如何提升VR的體驗,必需要先打造出一款更小更輕的眼鏡設備,Marina Zannoli解釋,重量和形式必須接近Oculus Rift,但不能有變焦馬達的噪音和震動,后來,就發展出了Half Doom Zero這款變焦VR眼鏡。

    Half Doom Zero眼鏡比原本變焦眼鏡的原型小了4倍,而且完全跟當時所有Rift游戲兼容,也有非常好的對焦能力。在2017年春天,Meta找了大概60個受試者,來體驗Half Doom Zero眼鏡,讓他們做了兩天的測試,來比較調制焦系統,跟定焦系統的差別。

    這個研究也準備了特定的VR展示視頻,并鼓勵測試者觀察他們周邊很近的東西,因為這是過去VR世界的用戶會避免做的事,來自原有定焦系統VR眼鏡的限制。

    2017年春天Meta找了60個受試者體驗動態變焦的VR眼鏡,Half Doom Zero眼鏡,這是第一次的大規模VR原型用戶體驗測試。

    經過用戶實驗后發現,使用變焦系統比較不會累,也比較不會出現模糊的視線,用戶更容易跟蹤對象,在VR世界中閱讀文本也更比定焦系統更容易,可以對對象的反應更快速。雖然這款VR眼鏡仍有噪音和震動的問題,不過,這次用戶研究,多數人可以接受噪音和震動下的變焦系統。

    “大部分的人都喜歡變焦,比較不喜歡定焦?!盡arina Zannoli指出,到了2017年夏天時,我們就得到比較確定的證據,變焦不只有助于未來可以通過視覺圖靈測試,而且可以帶給VR眼鏡其他好處,包括性能的幫助(不需要全視野超高分辨率)和舒適性?!癏alf Doom系列是一個轉淚點,不只發展出了非常先進的變焦技術,也提供了一種通過視覺圖靈測試的原型測試模式?!?/p>

    從此,先做出原型來驗證,再發展輕巧版本進行用戶實驗,來研究如何打造下一個原型,“這就變成了我們的標準流程?!盡arina Zannoli表示。Meta的Reality Labs實驗室開始大量運用這個原型實驗的做法,來嘗試解決不同的VR眼鏡挑戰,這也是為何在7年中會開發出近30款原型VR眼鏡的緣故。

    有這個變焦系統更舒適的發現之后,Meta開始專注于減少設備大小和重量,以及想辦法擴大VR眼鏡的視野,也制作了一系列的原型,后來更使用了液晶透鏡的電子變焦鏡頭,讓鏡片組件的體積縮小了許多,后續也持續改良變焦硬件。

    第三個挑戰:變焦帶來更復雜的失真校正挑戰

    解決了變焦鏡頭的問題,還要解決其他問題,另一個問題就是VR光學失真的問題。

    先前就提到VR眼鏡的鏡片是曲面鏡,原本就會出現圖片失真的問題,VR眼鏡大多通過軟件來修正這個圖片的失真??墒且坏┎捎昧俗兘圭R頭,要隨著用戶的眼球來修正聚焦的物體,聯動到虛擬圖片的失真情況,也會隨著眼睛移動,查看不同方向而發生不同的失真變化。

    可是,Michael Abrash指出,既有失真修正算法是相對靜態的做法,遇到眼睛要不斷移動來瀏覽完整場景的時候,無法完美發揮作用,因為靜態軟件校正系統無法產生持續穩定的圖像?!拔覀円芯康氖茄矍蜿P注的失真校正,必須進行動態校正,隨著眼睛來進行,在不同的變焦技術,在不同景深上發揮作用,而且校正的速度還要快讓人難以發現,這是很難解決的問題?!?/p>

    要解決失真的問題,需要很長的時間,一方面必需要制造出研究問題需要的鏡片,可能花上好幾個月才能完成,還要制造顯示器和對應的VR系統。為了解決耗時的問題,Meta改用大量眼球運動的記錄,來設計模擬器,搭配3D電視技術,來模擬研究不同光學設計和失真校正算法,不用建造真正的頭盔,“通過這種快速原型制作能力,可以在幾分鐘內探索不同動態失真校正的情況?!盡ichael Abrash表示。

    他指出,眼球關注是被低估的挑戰,一方面要找出用戶對焦的地方,來決定要渲染的圖像重點,另一方面,也要考慮熱量跟功率,如果只需要渲染出用戶需要關注的細節就好,但降低其他部分的圖像分辨率,“這或許是一個非常重要的優化做法?!蹦壳霸赒uest 2的軟件也做了不少失真校正的彌補,但要滿足真實感VR眼鏡需要的失真校正效果,還是不太夠。

    可以讓3D場景栩栩如生的第4項挑戰:HDR

    Michael Abrash表示,Meta研發VR眼鏡七年來所遇到的顯示系統挑戰,除了分辨率、變焦到失真校正的課題,還有一個很重要的挑戰就是HDR(高動態范圍),這是涉及亮度和對比的問題,亮處夠亮可以感覺到顏色清楚,而暗處夠暗才會讓場景變得栩栩如生。當前的挑戰是,“屏幕生動的程度,跟真實世界相比,有相當大的差異?!蹦壳案叨穗娨暤牧炼瓤梢赃_到1萬尼特,電視產業也往HDR的方向前進,但當前Quest VR眼鏡的亮度只有100尼特,要提供HDR的亮度,也需要在電池跟重量之間取得平衡。

    Meta曾打造出第一款HDR的VR眼鏡Starburst來測試,不管重量和電力,放進高亮度的屏幕,來進行更多研究,了解HDR的體驗會是如何。原型測試的目的是為了找出可以讓視覺更加真實的技術方向。

    Reality Labs Research研究總監Nathan Matsuda表示,通過Starburst,可以創造出在室內看到的亮度,來研究基本的發現問題,了解未來目標HDR應該要達到什么程度。目前發現,若可以產生比較好的焦深,營造真實生動的感覺,就有機會實現一個夠漂亮,夠復雜的VR環境,這還需要很多代的演進,才能達到?!拔覀冋⑦@些技術集成到一個更小巧,更便宜的眼鏡中?!盢athan Matsuda表示,每次創建一個新的原型,不管多不實際,但都可以讓我們理解,人們如何觀察周圍的世界,以及科技可以如何擴大人們的視覺系統。

    Michael Abrash指出,變焦和視網膜分辨率可以打開很多種可能性,但也會帶來開發者的挑戰,越真實的內容,制作難度就越高,如何協助人們創造這樣的環境,能夠炫染出可以保真的程度,AI技術將是實現這個目標的關鍵技術,另一個策略是先在真實世界中架構出場景,再將場景帶來虛擬世界。

    在Meta的Reality Labs團隊中還有一組人馬,負責集成科技和新的光學組件,他們的挑戰就是要盡可能減少這些光學組件的體積。Reality Labs Research研究員Andrew Maimone指出,不管是分辨率、對焦、失真或HDR的技術,最后都要集成到VR眼鏡中,我們的目標希望更輕薄短小,人們可以使用更長的時間。

    在VR光學組件中有三個要素,光源、成像的顯示版和曲面鏡片。過去VR眼鏡大部分的空間是消耗在鏡片和顯示版之間,Andrew Maimone指出,后來改用偏光折射可以進行光學對折,技術上稱為餅干式鏡筒,可以大幅減少厚度,只剩下曲面鏡片本身的厚度。后來,Meta引進了全像投影的餅干式鏡筒,簡稱HoloCake,同樣采用餅干光學鏡頭的設計,將鏡頭改為全像鏡片,就可以得到更薄、更平的鏡頭,能夠大大減少VR光學組件的大小,進一步能減少整體眼鏡的重量,不過,“全像鏡片非常特殊,得使用激光作為光源,才可以描述更多顏色,提供更好視覺體驗?!?/p>

    傳統VR眼鏡空間是消耗在鏡片和顯示版間,Meta改用偏光折射進行光學對折,技術上稱為餅干式鏡筒,大幅減少了厚度,更將鏡頭改為全像鏡片得到更薄更平的鏡頭(圖右)。

    最新VR原型HoloCake 2采用全像技術和激光光源

    Meta也展示了他們目前最先進的VR設備原型HoloCake 2,可以支持任何計算機來運行,引進了兩個技術,第一是引進了全像技術,可以讓用戶感受到有點像是實際成像的樣子,也能減少距離造成的成像差異效果,不過,要提供全像成像需要特殊光源,HoloCake 2采用了特別的激光光源,不同于今天VR眼鏡用的LED光源。Andrew Maimone指出,激光光源并不神奇,但在消費級產品中,找不到性能和價格能夠兼顧的合適產品,還需要大量工程研究,才能打造出符合需求的消費型激光光源,能夠安全、有效的裝在輕薄的VR眼鏡上。

    Meta目前最先進的VR設備原型HoloCake 2,采用餅干式全像技術,也需要搭配特殊激光光源來提供全像呈現所需,不同于今天VR眼鏡慣用的LED光源。

    扎克伯格還展示了一款VR眼鏡的原型設計Mirror Lake,集結了Reality Labs部門過去7年的研究成果,采用了HoloCake 2的顯示系統,包括了變焦鏡頭、眼球關注、失真校正技術、餅干鏡頭設計等,要集成到一個小巧、方便穿戴的護目鏡眼鏡設計,來提供混合實境的真實3D顯示方式。不過,Mirror Lake只是一個概念設計,Meta還沒有真正實現這樣的架構。

    扎克伯格坦言,Mirror Lake還需要好幾年才能實現?!耙驗檎鎸嵏蠽R是一個全新的技術,不是改進手機或電視的顯示器,如果可以實現,將會帶來VR體驗非常大的改變?!?/p>

    扎克伯格展示一款VR眼鏡原型概念設計Mirror Lake,集結了過去7年的研究成果,集成到一個小巧、方便穿戴的護目鏡眼鏡設計,來提供混合實境的真實3D顯示方式,但目前還沒實例。

      聲明:信息來源網絡,僅供參考。不代表本站立場,不構成任何投資建議,謹防風險!本圖文內容如無意中侵犯到您的權益,請郵件告知639235832@qq.com,我們將及時更正、刪除,謝謝!
    相關內容
    午夜大片免费男女爽爽影院
    <optgroup id="1r22b"><i id="1r22b"><code id="1r22b"></code></i></optgroup>
  • <span id="1r22b"><output id="1r22b"></output></span>

    <cite id="1r22b"><li id="1r22b"></li></cite>
  • <track id="1r22b"><small id="1r22b"></small></track>