1，2014 110，Magic Leap在2014年9月招募了5億，開設了名為“世界是妳的新桌面”(The World is Your New Desktop)的Info環節。Magic Leap感知研究高級副總裁Gary Bradski和計算視覺技術總監Jean-Yves Bouguet分別在當時發表了演講。加裏是計算機視覺領域的領軍人物。他在Willow Garage創建了OpenCV(計算視覺工具庫)，同時也是斯坦福大學的顧問教授。Jean-Yves原本在谷歌負責谷歌街景車的制造，是計算視覺技術的大牛。他們加入Magic Leap是非常令人震驚的。我參加了這個信息會議，當時Gary在傳感部分介紹了Magic Leap的技術，並簡要介紹了傳說中的數字光場電影現實的原理，並在允許錄像的部分進行了拍照。本文大部分幹貨都來自這篇演講。
2.今年年初，我上了斯坦福計算攝影和數字光場顯示教授Gordon Wetzstein的壹門課:EE 367計算成像與顯示:計算照明第四周，可穿戴顯示器和顯示塊(光場顯示器)都講到了Magic Leap的原理。現在妳也可以在這個課程網站上看到這些材料，ee 367/cs 448 I:計算成像與顯示。
順便介紹壹下戈登的斯坦福計算圖形學組。Marc Levoy(後來去造谷歌眼鏡的丹尼爾教授)壹直致力於光場的研究。從Marc Levoy提出光場相機，到他的學生Ren Ng創立Lytro公司，再到光場顯示器(裸眼3D顯示器)的制造，這個群體在光場研究方面壹直是世界的領導者。Magic Leap可能會成為光場顯示的最大應用。(相關內容請參考:計算成像研究概述)。
3.今年參加了光場成像工作坊，光場成像技術的研討會。現場有很多光場技術的展示，我和很多光場顯示技術大牛交流了對Magic Leap的看法。特別是我們體驗了Demo，壹種接近Magic Leap的光場技術，以及Nvidia的Douglas Lanman的近眼光場顯示。(相關內容請參考近眼光場顯示器。)
4.今年年中，我參觀了微軟研究院雷德蒙。該研究所的首席研究員Richard Szeliski讓我們試試Hololens。感受到了Hololens無與倫比的定位感知技術。有保密協議，本文不提供細節，只提供與Magic Leap的原則性對比。
下面是幹貨:
首先，關於Magic Leap、Hololens等ar眼鏡的科普，就是讓妳看到現實和現實世界中不存在的物體的圖像，並與之互動。從技術上來說，可以簡單地認為是兩部分:
感知)；真實世界的壹部分。
頭戴式顯示器呈現虛擬顯示。
我將分別在感知部分和顯示部分講解Magic Leap的相關技術。
首先，顯示部分
先簡單回答這個問題:
Q 1。HoloLens和Magic Leap有什麽區別？魔術飛躍的本質原理是什麽？
感知部分，Hololens和Magic Leap在技術方向上沒有太大區別，都是空間感知定位技術。本文後面會重點介紹。Magic Leap和Hololens最大的區別應該來自顯示部分。Magic Leap使用光纖將整個數字光場直接投射到視網膜上，以產生所謂的電影現實。Hololens采用了半透明玻璃，側面的DLP投影顯示虛擬物體始終是真實的，類似於市面上Espon的眼鏡顯示器或者Google Glass方案。是二維顯示，40度左右的小視角，沈浸感會打折扣。
本質物理原理是光在自由空間的傳播可以用壹個四維光場來唯壹表示。成像平面的每個像素包含該像素的所有方向的光的信息。對於成像平面來說，方向是二維的，所以光場是四維的。通常成像過程只是四維光場的二維積分(每個像素上各個方向的光的信息都疊加在壹個像素上)，但傳統顯示器顯示的是這個二維圖像，存在其他二維信息的損失。Magic Leap直接把整個4維光場投射到妳的視網膜上，所以人們通過Magic Leap看到的物體和真實物體沒有數學上的區別，沒有信息損失。理論上，用Magic Leap的設備，妳無法區分虛擬物體和真實物體。
使用Magic Leap和其他技術的設備最明顯的區別是人眼可以直接選擇對焦(主動選擇性對焦)。比如我要看近處的物體，近處的物體是真實的，遠處的物體是空的。註意:這不需要任何人眼追蹤技術，因為投射的光場還原了所有信息，所以用戶可以直接看到什麽是人眼真實的，就像真實的物體壹樣。例如，在大約27秒的虛擬太陽系視頻中(如下面的gif圖)，相機失焦，然後再次對準。這個過程只發生在鏡頭裏，與Magic Leap的設備無關。換句話說，虛擬物體就在那裏，妳怎麽想是觀察者自己的事。這就是Magic Leap令人敬畏的地方，所以Magic Leap將自己的效果稱為電影現實。
Q2。主動選擇性對焦有什麽好處？在傳統的虛擬顯示技術中，為什麽會頭暈？Magic Leap是如何解決這個問題的？
眾所周知，人眼感知深度主要是通過兩眼與被觀察物體之間的三角測量線索來感知被觀察物體與觀察者之間的距離。然而，三角測量並不是人類感知深度的唯壹線索，人類大腦還整合了深度感知的另壹條重要線索:人眼聚焦引起的銳度或聚焦線索。而傳統的雙目虛擬顯示技術(如Oculus Rift或Hololens)中的物體不是虛擬的，也不是真實的。舉個例子，如下圖，當妳看到遠處的城堡，附近的虛擬貓應該是空的，但是在傳統的顯示技術中，貓仍然是真實的，所以妳的大腦會很混亂，認為貓是遠處壹個非常大的物體。但這和妳雙目定位的結果不壹致。經過幾百萬年的進化，大腦程序壹會兒認為貓在附近，壹會兒認為貓在遠處。來來回回會燒腦，所以會嘔吐。Magic Leap投射的是整個光場，所以妳可以主動有選擇的對焦。這只虛擬的貓就放在附近，妳看著它就是真的。看城堡的時候是虛擬的，跟真實情況壹樣，不會暈。演講中，加裏調侃讓-伊夫(Jean-Yves)，壹個用Oculus服用10分鐘就會嘔吐的家夥，現在壹天用Magic Leap服用16小時也不會暈倒。
補充:有人問為什麽在線虛擬現實會因為幀率不夠而頭暈？
雖然幀率和延遲是目前的主要問題，但不是太大的問題，也不是導致頭暈的決定性因素。這些問題用更快的顯卡，好的IMU和好的屏幕，頭部運動預測算法就能很好的解決。我們應該關心壹些本質的頭暈問題。
這就是虛擬現實和增強現實的區別。
在虛擬現實中，用戶看不到真實世界，頭暈往往是由於內耳半規管感受到的運動與視覺看到的運動不匹配造成的。所以虛擬現實遊戲經常會有暈車嘔吐的感覺。這個問題的解決方案不是單壹設備可以解決的。如果用戶真的坐著不動，如果圖像在高速運動，用什麽設備可以騙過妳的內耳半規管？市面上的壹些解決方案，比如Omni VR，或者像HTC Vive這種帶追蹤的VR系統，其實就是讓妳走路來解決這種不匹配的問題，但是這樣的系統受到場地的限制。但是，VOID的應用很好地利用了VR的局限性。不壹定要跑跳，但是可以用很小的空間做出很大的場面，讓妳覺得自己在壹個很大的場景裏。現在大部分虛擬現實體驗或者全景電影都會以相對較慢的速度移動視角，不然妳會吐槽。
但是Magic Leap是AR增強現實，因為可以看到真實世界，所以不存在內耳半規管感知不匹配的問題。對於AR來說，主要的挑戰是解決投影物體和真實物體之間的銳度變化問題。所以Magic Leap給出的解決方案很好的解決了這個問題。但都是理論上的，實際工程能力會被時間證明。
Q3。為什麽會有頭戴式顯示器？為什麽裸眼全息不能？Magic Leap是如何實現的？
數百年來，人類壹直在考慮憑空看到壹個虛擬物體。在各種科幻電影中也有很多空氣中的全息影像。
但其實想壹想本質，這在物理上是很難做到的:純凈的空氣中沒有可以反射或折射光線的介質。展示最重要的是媒介。微信上很多傳言認為Magic Leap不需要眼鏡。我猜是翻譯錯誤造成的。通過Magic Leap Tech直接拍攝。被寫在了視頻裏，很多文章被錯誤的翻譯成了“直視”或者“裸眼全息”。事實上，該視頻是通過Magic Leap的技術由攝像頭拍攝的。
目前全息攝影基本停留在全息膠片時代(如下圖，我在光場研討會上看到的全息膠片小佛像)，或者初音初音演唱會用投影陣列對特殊玻璃制作的偽全息攝影(只顯示某個角度的影像，忽略其他角度的光線)。
Magic Leap想要實現的是把整個世界變成妳的桌面的願景。所以，與其像初音未來那樣做壹個3D全息透明屏作為介質，或者在世界各地做壹個全息膜，不如直接從人眼入手，直接把整個光場放在我們面前更容易。其實英偉達也在做這種光場眼鏡。
英偉達采用的方法是在二維顯示器前加入微透鏡陣列，產生四維光場。相當於把2維像素映射到4維像素，自然分辨率不會高，所以這種光場顯示器或者相機(Lytro)的分辨率也不會高。我親自測試過，效果基本就是看馬賽克畫風的圖案。
Magic Leap使用了完全不同的方法來顯示光場，這種方法使用了光纖投影。不過Magic Leap使用的光纖投影方式並不是什麽新鮮事。Brian Schowengerdt在Magic Leap擔任光纖投影儀，他的導師是來自華盛頓大學的教授Eric Seibel。從事超高分辨率光纖內窺鏡工作8年。簡單的原理就是光纖束在1mm直徑的管道中高速旋轉，改變旋轉方向，然後就可以進行大範圍的掃描。Magic Leap創始人的聰明之處在於找到了這些高分辨率的光纖掃描儀。由於光的可逆性，可以反過來制作高分辨率的投影儀。如圖，在他們6年前的論文中，1mm寬9mm長的光纖可以投射出幾英寸的高清蝴蝶圖像。現在的技術估計已經超過那個時候了。
但這樣的光纖高分辨率投影儀無法還原光場，需要在光纖的另壹端放置微透鏡陣列來產生4維光場。妳會想這是不是和英偉達的方法壹樣？不會，因為光纖束是掃描旋轉的，這個微透鏡陣列不需要很密很大，顯示掃描區域就可以了。相當於把大量數據分布在時間軸上，這和通信中的分時是壹樣的，因為人眼很難分辨100幀中的變化。只要掃描幀率足夠高，人眼是分辨不出顯示器是否在旋轉的。所以Magic Leap的設備可以小，分辨率可以高。
他親自來到斯坦福大學，做了壹個演講，用掃描光近眼展示大容量3D顯示器。這個講的應該是Magic Leap的早期原型。(相關內容請參考光纖掃描顯示器。)
第二，感知部分
Q4。首先，增強現實為什麽會有感知部分？
正是因為設備需要知道自己在現實世界中的位置(定位)和現實世界的三維結構(地圖構建)，才能在顯示器中將虛擬物體放到正確的位置。以最近的Magic Leap演示視頻為例。例如，桌子上有壹個虛擬的太陽能系統，當佩戴者的頭部移動時，太陽能系統停留在原處。這就需要設備實時知道觀看者視角的準確位置和方向，從而計算出圖像應該顯示的位置。同時可以看到陽光在桌面上的反射，這就需要設備知道桌子的三維結構和表面信息，從而正確地在桌子的圖像層上投射出疊加的圖像。難點在於如何實時計算出整個感知部分，讓設備佩戴者感覺不到延遲。如果定位有延遲，佩戴者會感到眩暈，虛擬物體在屏幕上漂移會顯得很假。Magic Leap宣稱的所謂電影化的真實是沒有意義的。
三維感知部分並不新鮮。計算機視覺或機器人學中的SLAM(同步定位和地圖繪制)已經做了30年了。通過各種傳感器(激光雷達、光學相機、深度相機、慣性傳感器)的融合，設備將得到其在三維空間中的準確位置，同時可以實時重建周圍的三維空間。
SLAM技術最近特別流行。最近兩年和今年都有巨頭和風投收購和布局做空間定位技術比較多的公司。因為最強大的三大技術趨勢:無人車、虛擬現實、無人機，都離不開空間定位。SLAM是完成這些偉大工程的基礎。我也是學SLAM技術的，所以接觸很多。為了方便大家了解這個領域，下面列舉幾個最近大滿貫界的大事件和人物:
斯坦福大學的機器人教授巴斯蒂安·特龍是現代SLAM技術的先驅。在DARPA大挑戰賽中獲勝後，他去谷歌制造無人駕駛汽車。SLAM學術圈的大多數研究派別都是塞巴斯蒂安的弟子和孫輩。
2.(無人車)優步今年獲得了CMU卡耐基梅隆大學的NREC(國家機器人工程R&D中心)，並聯合建立了ATC(先進技術R&D中心)。這些曾經從事火星車定位技術的研究人員都去了優步空管局做無人車。
3.(虛擬現實)超現實視覺最近被Oculus Rift收購，其創始人Richard Newcombe是著名DTAM Kinect fusion(HoloLens的holo lens核心技術)的發明者。Oculus Rift也在去年收購了13th Labs(壹家確實在手機上SLAM的公司)。
4.(虛擬現實)谷歌Project Tango今年發布了全球首款具備SLAM功能的商用平板電腦。蘋果在5月份收購了Metaio AR，Metaio AR的SLAM已經在AR的app中使用了很長時間。英特爾發布了可以演示SLAM的深度相機Real Sense，並在CES上展示了無人機的自動障礙功能和自動巡線功能。
5.(無人機)Skydio，由Google X Project Wing UAV創始人尼古拉斯·羅伊的學生亞當·布裏(Adam Bry)創立，獲得了A16z的投資，估值2000萬，並聘請了來自佐治亞理工學院的SLAM Daniel教授弗蘭克·德拉雷特(Frank Dellaert)擔任他們的首席科學家。(相關內容:http://www.cc.gatech.edu/~德拉雷特/弗蘭克德拉雷特/弗蘭克_德拉雷特/弗蘭克_ dellaert.html)
SLAM作為壹個基礎技術，其實世界上做SLAM或者傳感器融合做的好的人可能不會超過100，大部分都是認識的。這麽多公司搶這麽多人，競爭之激烈可想而知。所以Magic Leap作為壹家創業公司，必須整合大量資本才能和大公司爭奪人才資源。
Q5。Magic Leap的感性部分是什麽技術？
這張照片是Magic Leap斯坦福招聘會上Gary教授在Magic Leap感知部分的技術架構和路線。可以看出，以校準為中心，開發了四種不同的計算機視覺技術棧。
1.從圖片上看，整個Magic Leap傳感部分的核心步驟是標定(圖像或傳感器標定)，因為Magic Leap或Hololens等主動定位設備都有各種攝像機和傳感器進行定位，攝像機參數和攝像機之間關系參數的標定是開始所有工作的第壹步。如果這壹步攝像頭和傳感器參數不準確，後面的定位就是扯淡。從事過計算機視覺技術的人都知道，傳統的標定部分需要耗費大量的時間，需要用相機拍攝棋盤，反復采集數據進行標定。但是Magic Leap的Gary，他發明了壹種新的標定方法，直接用壹種形狀奇特的結構作為校正器，相機壹次完成標定，速度極快。這部分場景不允許拍照。
2.有了標定部分，就開始了最重要的三維感知定位部分(左下角的技術棧)，分為四步。
2.1首先是平面曲面跟蹤。在虛擬太陽系的演示中可以看到，虛擬的太陽在桌子上反射光線，這種反射會隨著裝備佩戴者的移動而改變位置，就像太陽真的掛在空中發光壹樣，反射到桌子表面。這就需要設備實時知道桌子表面在哪裏，並計算出虛擬太陽與平面的關系，從而計算出太陽反射的位置並疊加在設備佩戴者眼鏡的相應座上，深度信息是正確的。難點在於平面的實時檢測和給定平面位置的平滑度(否則反射會跳)。從演示中我們可以看出Magic Leap在這壹步做得很好。
2.2然後稀疏SLAM(稀疏SLAM)；Gary在Info Session上展示了他們的實時3D重建和定位算法。為了算法的實時性，他們首先實現了壹種高速稀疏或半稀疏三維定位算法。從效果上看，和現在的開源LSD算法差別不大。
2.3其次是傳感器；視覺和IMU(視覺和慣性傳感器的融合)。
導彈通常采用純慣性傳感器進行主動定位，但同樣的方法不能用於民用級的低精度慣性傳感器，二次積分後肯定會漂移。但視覺部分處理速度不高，容易被遮擋，定位魯棒性不高。集成視覺和慣性傳感器是近年來非常流行的做法。
例如:
Google Tango是IMU和深度相機在這方面的整合，非常好；DJI的無人機Phantom 3或Inspire 1將光學單目攝像頭與無人機中的慣性傳感器結合在壹起，在沒有GPS的情況下可以實現非常驚人的穩定懸停；Hololens在SLAM上可以說是做的很好了，專門定制了壹個芯片做SLAM。算法據說和KinectFusion的核心壹脈相承，通過個人測試定位效果非常好(面對壹面白色毫無特色的墻，我可以站立跳躍，但是回到場地中央後，定位依然非常準確，壹點都不漂移。)
2.4最後是3D貼圖和Dense SLAM(3D貼圖重建)。下圖是Magic Leap山景辦公室的3D地圖重建:只要拿著設備走壹圈，整個辦公室的3D地圖就還原出來了，還有精美的地圖。書架上的書可以重建而不變形。
由於AR的交互是壹個全新的領域，為了使人與虛擬世界順利交互，基於機器視覺的識別與跟蹤算法成為了重中之重。新的人機交互體驗部分需要大量的技術儲備來支撐。
Gary沒有詳細說明接下來的三個分支，但妳可以看到他們的布局。我只是補充壹些註釋來幫助妳理解。
3.1眾包眾包。它用於收集數據，供以後的機器學習使用。需要構建合理的反饋學習機制，動態增量收集數據。
3.2機器學習& amp深度學習機器學習和深度學習。需要構建壹個機器學習算法架構，用於後續識別算法的生產。
3.3場景物體識別場景物體識別。識別場景中的物體，區分物體的類型和特征，進行更好的交互。比如看到小狗就認出來，然後系統就可以把狗P變成狗怪，直接打怪。
3.4行為識別行為識別。識別場景中的人或物的行為，例如跑或跳、走或坐，可以用於更動態的遊戲交互。對了，國內有個斯坦福校友辦的叫綠深眼的公司也在做這方面的研究。
跟蹤方面
4.1手勢識別。用於交互，其實每個AR/VR公司都在做這方面的技術儲備。
4.2目標跟蹤目標跟蹤。這項技術非常重要。比如Magic Leap持有壹只大象的Demo。至少妳得知道自己手的三維位置信息，並實時跟蹤，才能把大象放到正確的位置。
4.3 3D掃描3D掃描。可以虛擬現實物體。例如，如果妳拿起壹件藝術品並對其進行三維掃描，那麽遠處的用戶就可以在虛擬世界中分享和玩同壹件物品。
4.4人體跟蹤人體跟蹤。比如妳可以給現實中的每個角色加壹個血棒和能力點。
5.1眼球追蹤眼球追蹤。Gary解釋說，雖然Magic Leap的渲染不需要眼球追蹤，但是由於要計算4維光場，Magic Leap的渲染計算量巨大。如果做了眼動追蹤，可以減輕3D引擎的物體渲染和場景渲染的壓力，是壹個極好的優化策略。
5.2情緒識別情緒識別。如果Magic Leap想成為她電影中描繪的人工智能操作系統，可以識別主人的情緒，做出充滿關懷的情感護航效果。
5.3生物識別生物識別。例如，識別真實場景中的人，並在每個人頭上顯示壹個名字。人臉識別就是其中之壹，中國清華姚班兄弟運營的公司Face++在這方面做得最好。
總結:簡單來說，Magic Leap的這部分和其他很多公司差不多。雖然加裏也加入了我們，他的誌向很遠大，但是這部分的競爭非常激烈。
Q6:即使Magic Leap已經解決了感知和顯示，下壹個難點是什麽？
1，計算設備和計算量
Magic Leap要計算4維光場，計算量驚人。不知道Magic Leap現在是怎麽解決的。英偉達不出牛逼的移動顯卡怎麽辦？妳會建立自己的專用電路嗎？帶著四輛泰坦X上路可不是鬧著玩的。
下圖是今年我參加了SIGGraph 2015的其中壹次VR演示，大家都背著壹個大大的電腦包在玩VR。10年後的人類看到今天的人類追求VR會覺得好笑嗎？哈哈。
2、電池！電池！電池！所有電子設備的痛苦
3.操作系統
說實話，如果說“世界是妳的新桌面”是他們的願景，那麽真的沒有壹個操作系統可以支持Magic Leap願景下的交互。他們必須自己發明輪子。
4.在虛擬物體的交互體驗中加入物理感受。
為了有觸覺，交互手套和交互手柄現在是VR界的熱門話題。從目前的專利來看，看不出Magic Leap會有更高的洞察力。也許壹個Kickstarter能最終稱霸，Magic Leap會把他奪回來。