世界杯來了！央視名嘴白巖松調侃 “俄羅斯世界杯，中國除了足球隊沒去，其他的都去了”，這屆世界杯，中國球迷購買球票的數量在所有國家中排名第 9，可見球迷對世界杯的熱情。那么，除了準備好小龍蝦在電視機前觀看世界杯比賽，你有沒有想過讓 C羅、梅西或者內馬爾在你家桌子上踢一場比賽會是什么樣子？

華盛頓大學、Facebook 和 Google 的研究人員開發了第一個端到端的深度學習系統，該系統可以將足球比賽的 YouTube 視頻轉換為運動的 3D 全息圖。

用CNN重建一場足球比賽

“對一場足球比賽進行單目重建有很多挑戰。我們必須估計相對于場地的攝像機姿態，檢測并跟蹤每個球員，重新構建他們的身體形狀和姿勢，并對聯合重建進行渲染，” 研究人員在他們的研究論文中寫道。

圖1：以足球比賽的 YouTube 視頻為輸入，系統輸出比賽的動態 3D 重建，可以使用增強現實設備在桌面上以交互式的方式觀看。

下面的視頻演示了這個系統：

這種方法的關鍵是卷積神經網絡（CNN），研究人員通過訓練 CNN 來估計每個球員與拍攝比賽的攝像機之間的距離。該網絡分析了從足球視頻游戲《FIFA》中提取的12000 張 2D 球員圖像，以及從游戲引擎提取的相應 3D 數據，以了解兩者之間的相關性。

這樣，網絡就能從沒見過的 2D 圖像中預估球員的深度圖（ depth maps）。當被展示沒見過的視頻時，系統能準確地預測每個球員的深度圖，并將其與顏色素材結合，以3D 的方式重建每個球員。

圖 2：重建方法的概覽

以 YouTube 視頻的幀作為輸入，我們使用 field lines 來恢復攝像機參數。然后，提取邊界框、姿勢和軌跡（跨多個幀）來分割球員。通過在視頻游戲數據上訓練好的深度網絡，我們在游戲環境中重建了每個球員的深度圖，這樣就可以在 3D 查看器或 AR 設備上呈現出來。

然后，球員們被放在一個虛擬的足球場上。其結果令人驚嘆，并且可以通過 3D 查看器或 AR 設備從任何角度觀看比賽。

圖3：訓練數據：從《FIFA》游戲中提取圖像和對應的深度，這里展示了幾個可視化為深度圖和網格的例子。

該團隊使用 NVIDIA GeForce GTX 1080 GPU 和 NVIDIA TITAN Xp GPU，以及cuDNN 加速的 PyTorch 深度學習框架，在從世界杯比賽視頻中提取的數小時的 3D 球員數據上對卷積神經網絡進行訓練。

基于這些比賽視頻數據，神經網絡能夠重構球場上的每個球員的深度圖，這些圖可以在3D 查看器或 AR 設備上呈現。

“事實證明，在玩 EA 的《FIFA》游戲并截取游戲引擎和 GPU 間的調用時，可以從視頻游戲中提取深度圖。具體來說，我們使用 RenderDoc 來截取游戲引擎和 GPU 之間的調用。” 研究團隊表示：“FIFA 與大多數游戲類似，在游戲過程中使用延遲渲染。通過訪問 GPU 調用，可以捕獲每幀的深度和顏色緩沖區。一旦特定的幀被捕獲了深度和顏色，就可以提取出球員。”

圖4：合成數據集的結果以及與當前最優技術和 ground truth 的比較，可視化為depth maps 和 3D 網格。我們的方法更準確，實現了更好的網格重構。

為了驗證這個系統，研究團隊用 YouTube 上找到的 10 個高分辨率的職業足球比賽視頻測試他們的方法。值得注意的是，該系統只在合成視頻素材上進行訓練。但是，在真實的場景中，系統也有非常好的結果。請加微信公眾號：工業智能化(robotinfo) 馬云都在關注

來自 YouTube 視頻的實際圖像的結果

從 Youtube 框架開始（頂行），我們網絡重建的深度圖可以添加到虛擬 3D 球場環境中，這里顯示為僅網格和紋理渲染（第 2-4 行）。

研究人員用微軟的 HoloLensAR 眼鏡進行測試。HoloLens 可以將 3D 重建疊加到真實的桌面上。最終的產品雖然不完美，它無法重建球，不能實時地工作，并且只允許從視頻錄制的球場側面觀看。但是，這項技術可能比當前 3D 重建運動的最先進方法更具可擴展性，因為當前的方法需要在每一個角度布置相機。研究人員稱，這種方法也適用于預定義的其他事件，例如音樂會或劇場。

桌面實際的場景

用HoloLens看到的場景

研究人員承認他們的系統并不完美。他們的下一個項目將專注于訓練系統以更好地檢測球，并開發可從任何角度觀察的系統。