你可能不止一次，見過你的朋友們分享下面這些看上去很“哇”的表演瞬間。
比如一整屏的像素點仰面摔下:
比如呼啦圈的旋轉引起地面波紋:
比如用手擊碎這些屏幕顆粒:
經過多輪刷屏，尤其是2016年年初，這幫幻覺制造者們還跑來北京天橋演出了。到現在為止，應該有不少人都了解這個團隊--來自法國的AdrienM&ClaireB。
為什么要提到他們呢?
因為，這個法國團隊，基本上是我的“新媒體舞蹈”啟蒙老師。2015年年初，我不幸看到了他們火遍朋友圈的作品Pixel，驚嚇之余立刻跑去墻外找了更多更多的信息，然后……就停不下來了。
先來說說他們是怎么“啟蒙”我的
大家都知道，現在在舞臺上使用投影或LED屏實在是一件太稀松平常的事情了。隨之而來的是一個常被詬病的問題--投影和表演之間往往并沒有太多聯系，呈現出“兩張皮”的尷尬狀況。
為解決“高科技”投影和“傳統”表演之間的關聯問題，各種打著“全息”名義的投影層出不窮--它們創造了一種3D視覺效果，使曾經在表演者“背后”的投影，現在起碼看上去好像是在“身邊”了。
看上去像是環繞在演員身邊的紗幕投影效果
不過，大多數貼著“全息”標簽的表演其實就是紗幕加投影，和真正的“全息”技術壓根沒啥關系。但是，至少前進了一步。
Adrien M & Claire B當然也這么做了。但這并不是我被“啟蒙”的原因。
就像舞臺上使用投影一樣稀松平常--當使用投影時，演員與投影的視覺配合演出也同樣數不甚數。這一類表演精打細算地卡好時間節點，反復排練一個一個的Cue點，總能表演得像真的一樣，引來層出不窮的“哇”。
但是面對這種情況，我實在“哇”不出來。
明明沒有互動機制，卻要裝得像有互動。設計得再精細，時間點卡得再好，也還是假的。并且，隨著時間的發展，這個偽裝套路充其量越做越精致，但卻沒可能有質的update。實在是太沒勁兒了。
所以，Adrien M & Claire B給我注入的第一個想法就是--他們有些細節，看上去不像是裝的啊!好像是真的，有交互!
咦，怎么做到的?!
他們如何做到最基礎的“不裝”?
我們且把一個基本的交互系統簡化為如下三個部分。
舞臺上也是這個道理。演員的動作就是輸入，對動作輸入進行信號采集，由計算機進行處理，最終通過屏幕或投影儀進行輸出顯示。
那些“假”互動的表演，就是沒有對演員的動作進行真正的“輸入”。因此，整個互動機制就不成立--一旦演員慢半拍，或者位置跑偏，這個“造假”表演基本上就砸了。
后期“PS”上去的配合效果
那么，如何對演員的動作進行“真正”的輸入呢?
想要對動作進行真實的輸入，就需要用到動作捕捉/追蹤技術。下面這個同樣來自Adrien M的小demo，使用了手部動捕利器Leap Motion，來進行實時的動作交互。
也許不如“PS”效果炫，但“真實”的交互有不可思議的魅力
真實的動作輸入:盤點常用的動捕技術
有哪些常用方式，可以用來對演員的動作進行真實的“輸入”呢?
1.傳統光學動作捕捉系統
最常用的是基于Marker(馬克點)的光學動作捕捉。在演員身上粘貼能夠反射紅外光的馬克點，通過攝像頭對反光馬克點的追蹤，來對演員的動作進行捕捉。有時也會通過演員身穿反射紅外光的緊身衣來完成。
來自光學動捕大佬Vicon公司官網的宣傳圖
身上的小白點就是Marker，Truss架上是攝像頭
這種方式對動作的捕捉精度高，但環境要求也高，并且還超級貴，屬于好萊塢大片拍攝利器之一。不過，如果只是自己想搗騰玩玩，不僅用不起，而且一般還用不好。
*代表產品:Vicon Motion System / Motion Analysis System
2.慣性動作捕捉系統
這一類主要是基于IMU(慣性測量單元)來完成對人體動作的捕捉。把集成了加速度計，陀螺儀和磁力計的IMU綁在人體的特定骨骼節點上，通過算法對測量數值進行計算，從而完成動作捕捉。
聽起來好像有點兒難懂，但其實我們每個人每天都會接觸--我們的智能手機里都內置了IMU。這就是為什么當你把手機橫屏時，正在播放的視頻也會跟著橫過來。
來自國內慣性動作捕捉公司Noitom的動捕案例
綁在演員身上的小紅塊就是IMU，一共需要綁17個
傳統光學動捕來說，這種慣性動作捕捉方案相對價格低廉，適合小型工作室或預算不太高的團隊完成動作捕捉。
*代表產品:XSENS / Noitom
3.基于計算機視覺的動作捕捉
前兩種常用的動作捕捉方式都已經有很長的發展歷史了，但這種基于計算機視覺的動作捕捉卻是近些年才興起的。不過，對于藝術創作和表演來說，這種方式因其簡單、易用、低價，目前使用的頻率可以說是最高的。
這種捕捉方式主要是通過采集及計算深度信息來完成對動作的捕捉。
比如，前文所提到，Adrien M做的手部交互小demo就是使用了以這類方式進行手部動作捕捉的產品Leap Motion。
Adrien M使用Leap Motion作為手部動作輸入端
Leap Motion官方操作指南，非常簡易，插上即用
Leap Motion只能捕捉手部動作，應用范圍相對窄一點。畢竟除了“手舞”，我們還需要“足蹈”。因此，另外一個能捕捉身體動作的產品Kinect，基本上遍布各種需要交互的創作場景。
使用Kinect進行實時交互，可以與另一個形態的自己互動
尤其是那些出現在商場、影院、劇場里的可交互裝置，如果你湊上前去看一眼，里面多半藏著一個Kinect。
*代表產品:Kinect/Leap Motion
不那么好的“真”，和看上去很好的“假”
當然，我的“啟蒙老師”AdrienM&ClaireB也并非每一次都用了“真”交互。
在現階段，令絕大部分看客在第一時間感到激動也不一定是“真”交互。就像神秘的AR(增強現實)產品Magic Leap最廣為人知的，不就是那個鯨魚躍出地面的特效“假”視頻么。
Magic Leap早期宣傳視頻中最“激動人心”的一幕
然而，和人們的期待不太一樣，新技術在發展的早期，往往是笨拙的。但是，卻是極具啟發的。這種啟發，主要發生在觀念的轉化和思考的路徑上。
因此，只有真的--真正的動作輸入，才有那么一點可能帶來創作方式、展演形式和思考路徑上的革新。
即使它第一眼看上去可能會麻煩、難用或不那么友好，但所能帶來的變革，是一萬個“假”互動加起來也沒辦法做到的。
