今年天貓雙11晚會(huì)上，一場(chǎng)別開(kāi)生面的“明星到你家”AR互動(dòng)活動(dòng)令人印象深刻。晚會(huì)現(xiàn)場(chǎng)，范冰冰、盧靖姍瞬間穿越到了所有觀眾家中。

這場(chǎng)活動(dòng)不僅有大牌明星助陣，還有大量黑科技：真人動(dòng)態(tài)三維建模與傳輸和SLAM、平面監(jiān)測(cè)等AR技術(shù)。 核心的真人動(dòng)態(tài)三維重建與傳輸由創(chuàng)業(yè)團(tuán)隊(duì)Owlii實(shí)現(xiàn)，雷鋒網(wǎng)特意采訪了Owlii團(tuán)隊(duì)，全面解析“明星到你家”背后的技術(shù)實(shí)現(xiàn)和應(yīng)用落地。

晚會(huì)現(xiàn)場(chǎng)的效果很魔幻。范冰冰走進(jìn)一個(gè)魔術(shù)盒子，瞬間就消失在了舞臺(tái)上。在現(xiàn)場(chǎng)連線范冰冰時(shí)，她已經(jīng)出現(xiàn)在了觀眾的家里。這不是視頻錄制的效果，因?yàn)楸瑫r(shí)出現(xiàn)在了成千上萬(wàn)人的家里。 

這是如何實(shí)現(xiàn)的呢？ 

舞臺(tái)上的魔術(shù)當(dāng)然只是一個(gè)幌子，實(shí)際上是手機(jī)AR將范冰冰的“動(dòng)態(tài)三維影像”投射到了每個(gè)人家里的真實(shí)環(huán)境中。

觀眾參與的方式是：打開(kāi)手機(jī)天貓/淘寶 App→首頁(yè)搖一搖→進(jìn)入“明星到你家”界面， 點(diǎn)擊立即開(kāi)啟→前后水平移動(dòng)手機(jī)，將光標(biāo)對(duì)準(zhǔn)地面或平面。

范冰冰和盧靖姍的3D影像就出現(xiàn)在了“千家萬(wàn)戶(hù)”，更為神奇的是，觀眾可以走進(jìn) 攝像機(jī)的拍 攝范圍，與范冰冰和盧靖姍一同合影。這可不是和一個(gè)平面影像拍照，你甚至可以圍著冰冰繞一圈，拍到冰冰的各個(gè)角度。 

在幾分鐘的瞬間傳送結(jié)束后，盧靖姍還調(diào)皮地說(shuō)，希望下次到觀眾家，能給做點(diǎn)好吃的！ 

據(jù)雷鋒網(wǎng)了解，“明星到你家”活動(dòng)的技術(shù)主要由兩部分構(gòu)成，真人動(dòng)態(tài)三維重建和傳輸、手機(jī)AR技術(shù)。整個(gè)活動(dòng)由天貓AR團(tuán)隊(duì)和一家專(zhuān)注“動(dòng)態(tài)三維重建與傳輸”技術(shù)的創(chuàng)業(yè)公司Owlii合作完成。

Owlii負(fù)責(zé)生成范冰冰和盧靖姍的動(dòng)態(tài)三維影像。Owlii告訴雷鋒網(wǎng)( 公眾號(hào)：雷鋒網(wǎng))，他們采用了多個(gè)深度 攝像頭來(lái)拍 攝，捕捉真人的外貌、表情和動(dòng)作，然后再用軟件處理深度圖，點(diǎn)云，網(wǎng)格，合成貼圖，形成三維動(dòng)態(tài)影像。 

動(dòng)態(tài)三維重建技術(shù)早已不新鮮，之所以說(shuō)是黑科技在于壓縮和傳輸技術(shù)。動(dòng)態(tài)三維影像的體積通常特別大，而要在手機(jī)上傳輸則需要壓縮在20M以下，這是非常難實(shí)現(xiàn)的。動(dòng)態(tài)三維重建與壓縮正是Owlii的 核心技術(shù)。

雷鋒網(wǎng)發(fā)現(xiàn)，“明星到你家”這個(gè)活動(dòng)可以被稱(chēng)做是AR互動(dòng)，但是卻與現(xiàn)在我們通常見(jiàn)到的AR互動(dòng)有本質(zhì)的區(qū)別，從“全息傳送”來(lái)理解這個(gè)活動(dòng)的意義更為合適。

（微軟Holoportation演示)

微軟最先提出“Holoportation全息傳送”這一概念。2016年微軟在Build大會(huì)上演示了基于HoloLens的Holoportation全息傳送技術(shù)。在Holoportation的演示視頻中，我們看到遠(yuǎn)距離對(duì)話的兩個(gè)人的影像都被傳送到了對(duì)方所處的環(huán)境中，全息影像還可以被放大、縮小。

大部分的AR應(yīng)用的內(nèi)容是由計(jì)算機(jī)生成的三維虛擬物體。而“全息傳送”以及“明星到家”的關(guān)鍵在于對(duì)真人進(jìn)行三維動(dòng)態(tài)重建，把人的動(dòng)態(tài)影像傳送到另一個(gè)環(huán)境進(jìn)行交互。即使相隔萬(wàn)里，也能瞬間以全息影像的方式進(jìn)行交流，可以說(shuō)是人類(lèi)傳播技術(shù)的終極目標(biāo)。“明星到家”這個(gè)活動(dòng)的技術(shù)實(shí)現(xiàn)方式其實(shí)和微軟全息傳送是一樣的，都是依賴(lài)動(dòng)態(tài)三維影像重建與傳輸和AR技術(shù)。但是微軟的是實(shí)時(shí)的和多人的，而“明星到家”是離線的和單向的。

目前，國(guó)內(nèi)外有一些專(zhuān)注于動(dòng)態(tài)三維建模和傳輸?shù)墓荆宋④洠€有美國(guó)公司8i。8i成立于2014年，專(zhuān)注VR/AR領(lǐng)域的3D人物成像，2017年獲得由時(shí)代華納領(lǐng)投的2700萬(wàn)美元B輪融資。

Owlii CEO 溫子煜告訴雷鋒網(wǎng)，“在實(shí)時(shí)這個(gè)上面，目前只有微軟和Owlii做到了。”今年8月底在硅谷舉行的2017SIGGRAPH計(jì)算機(jī)圖形學(xué)大會(huì)上，Owlii展示了其基于手機(jī)AR的“全息傳送——三維人物的重建與傳輸技術(shù)”。通過(guò)手機(jī)AR看到身處北京的工程師被“全息傳送”到美國(guó)洛杉磯SIGGRAPH現(xiàn)場(chǎng)。

要做到實(shí)時(shí)傳輸，最關(guān)鍵的是三維影像的壓縮技術(shù)。“去年，微軟做實(shí)時(shí)的傳輸需要1Gbps的帶寬，今年他們做到了50Mbps，而我們將實(shí)時(shí)傳送的全息媒體流壓縮到了10Mbps，離線的僅為2.5Mbps，僅用手機(jī)4G LTE的無(wú)線網(wǎng)絡(luò)就可以實(shí)時(shí)加載和交互。雖然壓縮的同時(shí)要保持圖像質(zhì)量很難，但是單說(shuō)壓縮到這么小，就是很難的事情。”

目前動(dòng)態(tài)三維重建需要多個(gè) 攝像頭的拍 攝環(huán)境，動(dòng)態(tài)影像合成的工具，壓縮的特殊算法，這些都導(dǎo)致技術(shù)在大規(guī)模應(yīng)用上的障礙。溫子煜強(qiáng)調(diào)他們的技術(shù)全球領(lǐng)先，但是他們也一直在尋找一個(gè)合適的應(yīng)用場(chǎng)景，使得真人三維動(dòng)態(tài)重建與傳輸技術(shù)讓人眼前一亮。

天貓雙11晚會(huì)對(duì)新科技、新玩法一直很大膽。去年天貓雙11晚會(huì)上就嘗試了跨屏的AR互動(dòng)，天貓請(qǐng)來(lái)了臺(tái)灣女神林志玲，志玲姐姐在晚會(huì)現(xiàn)場(chǎng)將她身上穿的風(fēng)衣脫下來(lái)，對(duì)著鏡頭扔出去，風(fēng)衣穿過(guò)電視屏幕進(jìn)入觀眾的手機(jī)屏，在手機(jī)屏上開(kāi)展了一場(chǎng)搶風(fēng)衣的AR游戲。

天貓一直在布局AR/VR技術(shù)。在2016年的雙11，天貓推出了VR Buy+平臺(tái)，支持VR購(gòu)物。用戶(hù)通過(guò)HTC Vive或者手機(jī)360度全景視頻可以去到美國(guó)第五大道購(gòu)物天堂，巴黎時(shí)尚商店。今年天貓推出了AR Buy+平臺(tái)，全面發(fā)力AR購(gòu)物，并且發(fā)布了自己的AR技術(shù)開(kāi)放平臺(tái)，支持更多開(kāi)發(fā)者利用天貓的技術(shù)開(kāi)發(fā)AR應(yīng)用和內(nèi)容。今年的雙十一晚會(huì)上當(dāng)然少不了秀一秀他們的AR技術(shù)。

Owlii完成對(duì)范冰冰和盧靖姍的動(dòng)態(tài)三維重建和壓縮之后，后面的工作由天貓團(tuán)隊(duì)完成。負(fù)責(zé)此次“明星到你家”活動(dòng)的是天貓工程師蔡建平。蔡建平介紹到，此次活動(dòng)采用了蘋(píng)果ARKit工具來(lái)實(shí)現(xiàn)AR功能，而其他無(wú)法使用ARKit的安卓機(jī)則使用天貓自身的AR平臺(tái)的SLAM、平面監(jiān)測(cè)和運(yùn)動(dòng)追蹤技術(shù)。結(jié)合owlii的解碼sdk，和天貓、淘寶的渲染引擎，經(jīng)過(guò)反復(fù)的適配和調(diào)適，天貓做到了適配全部高、中、低端手機(jī)，安裝了天貓/淘寶App的上億用戶(hù)都可以參與這場(chǎng)“明星到家”的活動(dòng)。

據(jù)Owlii介紹，由于這場(chǎng)活動(dòng)是大牌明星、晚會(huì)盛宴，天貓對(duì)他們的真人三維重建的影像效果要求十分嚴(yán)格。盡管天貓因?yàn)镺wlii領(lǐng)先的技術(shù)質(zhì)量選擇了Owlii作為本次伙伴，但是為了讓消費(fèi)者能夠體驗(yàn)到更驚艷的互動(dòng)效果，雙方對(duì)人像質(zhì)量設(shè)定了更高的標(biāo)準(zhǔn)，促使Owlii對(duì)軟硬件系統(tǒng)進(jìn)行了全新的升級(jí)，在提升人像質(zhì)量的同時(shí)還將文件壓縮到了更小的體積。Owlii針對(duì)不同手機(jī)終端壓縮生成了多個(gè)內(nèi)容版本，這些版本中最大的碼率也不超過(guò) 5Mbps。

“明星到你家”這場(chǎng)大規(guī)模的互動(dòng)活動(dòng)正是Owlii想要尋求的令人驚艷的落地應(yīng)用。同時(shí)天貓讓上億用戶(hù)直接接觸了“全息傳送”這個(gè)黑科技，也熟悉了AR應(yīng)用的玩法。未來(lái)手機(jī)AR和真人動(dòng)態(tài)三維重建與傳輸技術(shù)或許會(huì)擦出更多的火花。