你或許沒有注意到，但全息圖早已存在于我們的日常生活之中。由于難以復制，模擬全息圖被廣泛用作信用卡、銀行票據、駕照和眾多應用的防偽措施（見圖1）。
隨著計算能力的提高和增強現實等新用例的出現，數字全息顯示的研究和開發同樣在不斷地進行。在展示先進視覺化未來的時候，一眾熱門的科幻電影和電視都有受到全息顯示的啟發，例如《星球大戰》、《少數派報告》和《星際迷航》等。但全息顯示真的是一個遙遠的未來嗎？在這篇博文中，Arm的軟件工程師主任羅伯托·洛佩茲·門德斯（Roberto Lopez Mendez）介紹了有助于移動處理器支持全息顯示的算法與計算進步。下面是映維網的具體整理：
圖1：鈔票（左）和信用卡（右）都有使用全息圖作為防偽手段。
我們首先來看看經典全息圖的產生過程：
1. 記錄和再現全息圖的起源
在計算機時代以前，模擬全息圖的記錄和再現方式與黑膠唱片相似。在這個過程中，兩束激光束照射目標對象（圖2）。由此產生的干涉圖（全息圖）編碼了對象的整體（“全息”）相位信息，并以極高的分辨率記錄在感光膠片上。當用激光照射膠片時（圖2），發生的衍射會再現一個播放場，而它在眼睛看來是一個三維圖像。這個圖像完美地再現了所記錄的對象，因為它保留了原始場景的深度、視差和其他屬性。作為一名物理學家，這是我在大學學習全息術時所熟知的過程。
圖2：經典全息圖的創建（左）與播放（右）。圖源：VividQ。
在上一篇博文中，我們介紹了Arm與英國初創企業VividQ達成合作，共同致力于幫助消費電子產品實現數字全息顯示。在計算全息（Computer-Generated Holography；CGH）中，干涉圖案是根據各種數據源（從游戲引擎到深度感應攝像頭）并以數字方式生成，然后再通過一個微型顯示器進行顯示。其中，所述顯示器相當于經典全息圖中的感光膠片，并且在用激光照射時可以同樣地再現三維圖像。但CGH的計算量非常巨大，在過去一副數字全息圖像的生成需要耗費數天時間。當第一次訪問離Arm劍橋總部不遠的VividQ時，我簡直不敢相信眼前的一切。采用VividQ軟件實現的全息顯示器原型能夠在我面前實時地投射出一個Unity動畫場景的3D全息視頻。我感到非常不可思議。下面我們來看看這一切是如何實現的。
延伸閱讀：Arm與VividQ合作，在Mali GPU中兼容全息顯示技術，提升AR體驗
2. 數字全息術的革命：基于快速傅里葉變換（Fast Fourier Transform；FFT）的全息圖生成
傳統的計算全息術是用基點計算（Point-based Compute；PBC）來實現。三維虛擬對象可以表示為點云，點云攜帶顏色和深度信息。在PBC中，計算虛擬對象的每個點到顯示器的每個像素的光線，并將相關值相加。這一過程所需的計算能力非常巨大，并且會隨著分辨率的增大而急劇擴展：大約需要O（N4）運算，其中N是顯示器的邊長。
業界直到數年前才真正提出了實際的解決方案，而這個突破就像是從模擬音頻處理到數字音頻處理的轉變。對于音樂，數字化過程以固定的時間間隔對音頻信號進行采樣。相比之下，全息領域的新舉措是對三維虛擬對象的深度切片進行采樣。圖3總結了用于全息投影的切片過程和干涉圖（全息圖）的生成。
圖3：基于FFT的CGH管道
在切片過程中，點云的每個點被劃分為深度層。在下一步中，深度層將重新采樣并柵格化為深度網格。在這個階段，每個深度柵格包含處于相同深度的點。在實際應用中，每個深度網格可以看作是一個二維圖像，而每個深度層的點可以有效地視為像素。這種分層方法允許我們將計算全息問題簡化為具有O（N2 log N）時間復雜度的快速傅立葉變換問題（其中N是顯示器的邊長）。接下來，我們進行色度網格劃分，將深度網格劃分為RGB通道。然后利用FFT對深度網格進行衍射計算，并且生成全息圖。每個RGB通道都需要自己的FFT計算，因為衍射速率取決于每個顏色波長。最后，將RGB通道全息圖合并成單色全息圖。
當生成全息圖（干涉圖）后，我們應該在哪里記錄或打印并用激光束重建及產生全息投影呢？數字技術已經在這一領域獲得長足的進步，所謂的空間光調制器（SLM）取代了模擬膠片。SLM可以動態顯示計算出的衍射圖樣，并在用紅綠藍三種激光二極管照明時產生全息投影。
顯然，這是全息圖生成過程的一個簡略版本，我們在這里沒有考慮與顯示器本身相關的技術挑戰。然而，我們可以看到所需的計算能力將隨深度層的數量和深度網格的分辨率提升而增加。隨著層數的增加，我們可以預期FFT計算的權重將更加顯著。GPU在并行計算方面非常出色。它們可以充分利用運算能力，而高端GPU的運算能力通常更為強大。這就是為什么今天全息圖生成過程的推薦計算單元是GPU的原因。
在訪問VividQ期間，我嘗試了團隊研發的全息頭顯原型（圖4）。這家公司已經為相關的軟件和參考設計申請了專利，并希望加速全息顯示在AR頭顯和智能眼鏡、汽車平視顯示器和消費電子產品領域的大規模采用。
圖4：VividQ的雙目全息頭顯原型，頭顯上方是一個深度傳感器。
如今，VividQ的全息頭顯原型會接入到一臺PC，而后者運行的相關程序可以渲染來自Unity或Unreal等游戲引擎的虛擬內容。虛擬內容的顏色和深度信息會發送到CGH管道（圖3）。當在環境中投射全息圖時，所述設備同時會使用深度傳感攝像頭的信息來實現虛擬與真實和真實與虛擬的遮擋（圖5）。FFT計算在GPU中進行。
圖5：在不同距離捕獲的三維全息投影。
嘗試VividQ的全息頭顯是一次令人大開眼界的經歷，因為當CGH只存在于科幻作品描述的的未來時，我的全息知識就隨著我的大學畢業而終止。這一次訪問令我意識到全息技術自80年代以來已經發展到什么程度，但還有更多的驚喜在等著我。
3. 移動端的實時CGH：是科幻還是現實？
將CGH從桌面端帶到移動端似乎是一項艱巨的任務。如果在擁有強大CPU和GPU的桌面端實現CGH已經是一個巨大挑戰，將全息圖生成轉移到移動設備還有意義嗎？然而，如果我們仔細思考，如果我們希望看到實時全息顯示器的廣泛采用，轉向移動端顯然是下一個自然而然的步驟。
類似的過程已經在虛擬現實發生。如果你關注這個行業的發展，你應該會知道于2016年面世的Oculus Rift和HTC Vive。這種系留頭顯需要接入一臺功能強大的PC，然后才能夠以每秒幀數（FPS）的高分辨率為每只眼睛渲染虛擬場景。但我們在2018年看到了第一代VR一體機Oculus Go，并在后來見證了非常成功的Oculus Quest。一體機的形式意味著它包含了提供虛擬現實體驗所需的一切組件，不再需要外接設備。這一形態的設備優勢非常明顯：不再需要線纜，設備可以隨身攜帶，功耗更低。所有這一切都是通過移動SoC實現。將CGH移植到移動SoC可以為我們帶來同樣的好處，并把這項技術帶到AR的真正未來。在這個未來里，一款形狀緊湊的低功耗全息顯示器將是必要事項。對于這一點，Arm的Total Compute（全面計算）策略將能發揮重要的作用。
4. Arm的全面計算和ViviQ將如何塑造全息術的未來？
圖6：未來的全面計算解決方案的不同要素
為了滿足在計算能力和功耗方面不斷增長的需求，Arm正在通過全面計算來實現戰略轉變：從優化單個IP到采用整個SoC設計的系統級解決方案視圖（圖6）。這意味著整個系統應該無縫協作，為低功耗SoC封裝的計算密集型工作負載提供最大性能。這種新方法將分析如何在不同的IP塊和計算域之間最好地部署互連的數據和計算。它不僅包括主要的計算域（CPU、GPU和NPU），而且會納入軟件框架和計算庫來提高它們的性能。同時，諸如Performance Advisor這樣的新工具可以識別瓶頸并幫助實現整個系統的最佳性能。
這種方法特別適用于高性能計算，如CGH的核心要素FFT。最新的Mali Premium GPU（Mali-G78和Mali-G77），以及主流的Mali-G57都利用了Arm Compute Library（ACL）。這是一個高度優化的底層函數集合，包括一個通過OpenCL加速的高效FFT計算實現。FFT在復雜域中運行，而我們可以使用FP32和FP16浮點精度。硬件后端性能的每一次改進都直接轉化為每秒乘法累加運算（MAC/s）的增加，從而轉化為FFT計算性能的提高。這一點尤其重要，因為即使考慮到預處理和后處理操作，FFT計算都占全息顯示所需總計算量的60%-90%。
在2019光場和全息顯示峰會（2019 Light Field and Holographic Display Summit），VividQ首席執行官達倫·米爾恩（Darran Milne）分享了在2048×1536顯示器為指定數量目標層生成單幀全息圖像的浮點運算要求要求（表1）。
表1:使用ViviQ實時算法生成單個2048×1536幀的浮點運算要求。
即使是1280×720顯示器，對于傳統的基點計算而言，每幀的計算需求大約為7000 GFLOP。對于計算需求減少了1000倍，這說明了利用FFT和相關Arm庫的ViVidQ方法更加高效。重要的是，VividQ的解決方案不僅優化了計算要求，而且提高了圖像質量。VividQ SDK所提供的算法針對不同的顯示類型、大小和位深、以及各種圖像特性（如高對比度）進行了優化。由于用戶或調用程序可以請求特定數量的輸出層，所以對于給定的光學系統和輸入場景，你只能使用所需的計算量。但值得注意的是，簡單場景可能只包含幾個位深的數據。這一巨大的靈活性允許運行VividQ軟件的Arm-Mali GPU實時交付各種應用的全息圖。
下面我們來詳細談談Arm Mali-G76 GPU的計算能力。一個Mali-G76內核中包含3個執行引擎，各自具有8個線程，并且每個時鐘周期（3x8x3=72個浮點/周期/核心）能夠傳送大約3個FP32指令（MUL+ADD）。這意味著三星Galaxy S10中以720 MHz運行的10核G76顯卡將提供720x106x72x10浮點或大約518 GFLOP/s。對于FP16精度，這一數字將翻倍至1.04 TFLOP/s。這是理論上的最大值。在實踐中，實際數字會受到帶寬限制的影響，并最終受限于功耗。對于諸如FFT這樣的高負載算法而言，我們依然有望獲得理論最大值的相當一部分。即使我們只計算每線程每周期單個FLOP，利用率為60%，我們都可以達到100 GFLOP/s。
正如我們所見，原則上帶寬不應該是個問題，但實際上它可能會成為一個問題。使用GPU時，如果不進入熱節流和出現快速電池消耗，我們就不可能維持高分辨率和復雜用例所需的處理強度。但我們有一些簡單的應用程序，例如增強現實設備中的文本和圖標投影，我們可以限制層的數量，并依然能夠為當今的AR顯示提供顯著的優勢。根據Arm支持團隊的評估，三星Galaxy S10的一個切片計算需要8ms，分辨率為720×1280。這意味著一個全彩色的單層需要24毫秒，而且系統理論上將以40幀/秒的速度運行。這是移動GPU實時運行CGH的首次演示。VividQ最近展示了他們的全息操作系統概念（圖7）。所述操作系統具有圖標、文本和社交媒體等我們熟悉的應用程序，而它們通常只需要2個深度層。
圖7:VividQ的全息操作系統概念。
但全息顯示遠不止FFT計算。CPU在內容生成和其他計算任務中起著關鍵作用。為了避免瓶頸并實現全息圖像的高分辨率，諸如顯示器和激光驅動器等不同部分必須有效地協作。全面計算旨在作為Arm系統范圍內設計方法的一部分以滿足所述要求，并將幫助數字沉浸的下一波浪潮成為可能。同時，VividQ團隊將繼續相關的算法研究，從而實現比AR可穿戴設備更高質量的全息圖與全息應用。VividQ的專有全息圖模擬工具（由GPU運行）允許不同的光學設置以實現高精度模擬。這使得新光學系統的快速原型化不再需要硬件實驗，并最終帶來速度更快畫質更優的全息圖像（圖8）。令人高興的是，所需的算法變化不會顯著影響計算量，所以這種新型顯示器依然與Arm的全面計算架構兼容，并在移動處理器實現實時性能。
圖8：目標圖像（a）；使用VividQ SDK 4.2.0和標準生成算法創建的全息圖像（b）；正在開發的高黑電平程序（c）。
5. 總結
計算機全息的最新發展使得全息顯示從科幻變成了現實。全息術和全息顯示與當今的三維顯示相比具有很大的優勢。從智能眼鏡到汽車平視顯示器和新的消費電子產品，隨著計算方法的發展，全息顯示可以成為AR商業應用的一個可行替代品。為了實現其真正的潛力，全息顯示必須從基于桌面的計算轉移到移動端SOC。Arm和VividQ的合作旨在幫助移動處理器實現CGH。在這里，我們可以結合VividQ在全息攝影方面的深厚軟件專業知識，以及低功耗、高性能的Arm IP。VividQ SDK允許跨不同終端支持實時的高質量CGH，而用于沉浸式計算的全面計算方法致力于在性能和功耗方面實現整體系統改進，從而幫助未來的全息顯示成為現實。
