章相關引用及參考：映維網

本文來自 JOSH GLADSTONE

（映維網 2018年03月27日）VR電影與攝影在2017年迎來了一輪爆發，一系列的專業和消費者360度相機陸續登陸市場。這種新技術為所有人帶來了全新的沉浸式圖像捕捉。在數年前受到沉浸式劇場的啟發，我的朋友和我開始涉足VR影視，制作了一部交互式恐怖影片。當時《The Presence》這個項目是用消費者級別的相機進行拍攝，一種單視場360度視頻.

我們的第二個項目是一部交互式MV，可以根據用戶視線進行無縫改變。對于《The Cooties-VR》這個項目，我們能夠升級到立體360度拍攝，這樣觀眾在佩戴VR頭顯時就能獲取真正的深度感。立體360度圖像給我留下了深刻的印象，而我認為這是視頻所能做到的努力。近來我一直在嘗試使用一種名為6自由度的新興技術。6自由度能夠為VR影像捕捉帶來全新的維度。

1. 什么是6自由度

6自由度（DoF）是指在VR中的運動追蹤量。諸如三星Gear VR和谷歌Carboard都是3自由度設備，因為它們只能追蹤通過X，Y和Z軸的旋轉運動。它們無法追蹤位置。

環顧四周

360度圖片和視頻本質上是圍繞球體的圖像，而在VR中，你則是置身于球體的中間。想象一下，你身處在一個巨大的球形房間里，其中包含著一個照片級真實感的自然場景。當你站在房間中央環顧四周時，這一切看起來將十分具有說服力。但當你開始走近墻壁時，你會發現平坦的球形墻缺乏深度。

在其中移動

即便是在立體360度之中，你仍然無法移動任何的3D形狀，只是兩幅影像附加在球形之上，每只眼睛看到的視圖稍微有點不同。但通過深度圖，這一切都將發生改變。

2. 深度圖（Depth Maps）

深度圖是通過灰度陰影來表示離相機距離的圖像。黑色區域代表最遠點，白色區域最接近點。

上為顏色圖，下為深度圖

諸如Google Jump和Nokia Ozo這樣的高端VR相機系統已經可以直接導出深度圖。我們通過Google Jump拍攝了我們的第二個項目。當我看到它可以導出的深度圖時，我便開始對它們的應用感到十分好奇。我非常熟悉Unity游戲引擎，并且將它用于我們以前的兩個項目，因此我開始探索在Unity中深度圖的可能性。經過大量的實驗后，我編寫了一個能夠替換球體每個頂點的自定義著色器。

這個著色器起了作用。程序能夠將視頻信息實時轉化為一個紋理化的三維網格，你可以自由行走并環顧四周。當然，這并不完美。所有的距離都取決于深度圖的精度，而深度圖則是通過使用復雜計算機視覺算法來比較所有原始捕獲的視頻圖像所得出。這種算法在反射和重復模式方面存在問題，因此深度并不總是正確。但現在是早期階段，相信技術會隨著時間而改善。

先四周移動，然后通過深度圖進行球形位移

一些6自由度技術不需要360度視頻/圖片捕捉和深度圖，它們是通過多臺相機對準一個對象來實現6自由度（外向內）。這種方法通過所有的角度來捕捉對象，并利用攝影制圖法來將其轉化成3D對象。對于該技術，優勢是用戶可以環繞對象行走，并從所有方向瀏覽對象。但由于這沒有捕捉環境，所以對于復雜或多個對象的場景而言存在問題，并且需要大型設置和大量的處理。

與之對比，深度圖6自由度是是從單個點進行捕捉（內向外）。深度圖的優勢在于，你可以通過單個360度相機設置來捕捉整個空間。但因為是這種設置，你無法捕捉對象“背后”的信息。例如，一輛車從場景中通過，相機將無法捕捉車輛背后的一切。這將在3D網格中導致一些嚴重的畸變，當你遠離原始點時這將變得十分明顯。

所以Adobe的Project Sidewinder和Facebook的Surround360 6DoF演示會限制用戶移動，因為離開原點越遠，圖片將變得越扭曲。通過不同的捕獲或處理技術，這種畸變可能會在未來得到改善甚至是解決，但現在問題依然存在。

3. 點云城市

點云是指3D空間中的大量點。每個點都有一個位置和一種顏色，處理數十萬甚至數百萬個點的情況并不少見。

那么我們如何從照片或視頻轉向點云呢？如果你拍攝了一張分辨率為2880×1440的等矩形360度圖片，你擁有的是超過400萬個像素或顏色，因為每個像素代表一種顏色（2880×1440=4147200）。 如果你接下來采用相同分辨率的等矩陣360度深度圖，則你擁有空間中單個點的400萬個距離。稍后進行一定的數學計算，你將獲得400萬種顏色和400萬個對應的空間位置，這對于表現為點云來說非常合適。

點云不存在與頂點位移技術相同的畸變問題，但它是用空白間隙來替換畸變。點云十分有趣，但現在它們并沒有提供比頂點位移技術更多的優點。但在未來，點云有可能成為通往更為有趣的6自由度技術的途徑。

4. 6自由度的優勢

你可能想知道，對于所有這些畸變和空白，為什么說6自由度比3自由度好呢？在3自由度中觀看立體360度視頻時，你必須保持直立，不能向前傾斜或靠邊傾斜。因為如果你這樣做，整個虛擬世界將與你一起傾斜，這會導致惡心。即使你只是將頭部向一側傾斜一點點，這也可能會破壞立體效果，并導致你感到眼花繚亂。但在6自由度中，你可以自由傾斜和移動。你可以自然地坐下和移動，并且保持完全沉浸感，同時可以實現最小的畸變（在有限的范圍內）。

原文鏈接：https://yivian.com/news/43216.html

章相關引用及參考：映維網

利用了多視圖三維重建來渲染影像。

（映維網 2018年04月10日）谷歌在2015年推出了Jump，簡化從拍攝到播放的VR視頻制作流程。高質量VR相機能夠令拍攝變得更加簡單，好消息是映維網了解到Jump Assembler則將令自動拼接變得更快，減低投入的成本。借助成熟的計算視覺算法和谷歌數據中心的計算力量，Jump Assembler可以在沉浸式3D 360度視頻中實現清晰逼真的圖像拼接結果。

1. 拼接

今天谷歌正式為Jump Assembler帶來了了一個新的選項，支持系統采用基于多視圖三維重建（multi-view stereo）的全新高質量拼接算法。這種算法能夠產生與谷歌標準算法一樣的無縫3D全景圖，但能夠通過復雜的圖層和重復的圖案來減輕場景中的偽影。它同時能夠生成有更清晰對象邊界的深度圖，而這對VFX非常有用。

下面我們先來看看谷歌標準算法的工作原理。它基于光流概念，亦即將一幅圖像中的像素與另一幅圖像中的像素進行匹配。在匹配時，你可以知道像素是如何從一幅圖像“移動”或“流動”至另一幅圖像。在匹配每一個像素后，你就可以通過局部地移動像素來插值中間視圖。這意味著你可以在拍攝裝置上的相機之間“填補空白”，這樣在拼接時就能實現一個無縫，連貫的360度全景圖。

左：左側相機的圖像；中：在相機之間插值的圖像；右：右側相機的圖像

2. 基于視圖插值的光流

谷歌最新的高質量拼接算法利用了多視圖三維重建來渲染影像。區別何在？即便拍攝裝置上的其他相機也有可能看到相同的對象，但標準光流算法一次僅使用一對圖像；而谷歌的新方法可以同時在多幅圖像中尋找匹配。

這種全新的多視圖三維重建算法計算每一個像素的深度（如像素到對象的距離，一個3D點），而且拍攝裝置上任何能看到這個3D點的相機都可以幫助建立深度，令拼接過程變得更加可靠。

左邊是標準質量拼接：請留意右邊桿棍周圍的偽影；右邊則是高質量拼接：高質量算法消除了偽影。

左邊是標準質量深度圖：請注意對象邊緣十分模糊；右邊則是高質量深度圖：邊緣有著更多的細節，而且更加銳利。

谷歌的新方法還有助于解決所有拼接算法都在面臨的關鍵挑戰：遮擋，亦即處理在一幅圖像中可見，但在另一幅圖像不可見的對象。多視圖三維重建拼接在處理遮擋方面的效果更好，因為如果一個對象隱藏在一幅圖像中，這種算法可以利用拍攝裝置上的附近任意相機圖像來確定該點的正確深度。這有助于減少拼接偽影，并生成具有清晰對象邊界的深度圖。

如果你是一名VR電影拍攝工作者，并且希望嘗試這種全新的算法，只需在 Jump Manager的拼接質量下拉欄中圖選擇“high quality（高質量）”即可。

原文鏈接：https://yivian.com/news/43740.html

章相關引用及參考：映維網

完整的端到端解決方案

（映維網 2018年04月13日）在日前舉行的NAB大會上，松下旗下的Panasonic System Solutions Company of North America（PSSNA）演示了一種廣播級別的360度/VR端到端直播技術，結合了他們的低延遲360度Live Camera，Haivision的KB Max便攜式4K解編碼器和LiveScale的全景云分發平臺。

這種完整的端到端解決方案包含：以4K等量矩形格式捕捉4K視頻的松下360度Live Camera（AW-360C10，AW-360B10）；Haivision KB Max互聯網媒體編碼器；以及LiveScale全景云平臺。這種解決方案十分適合現場活動和體育運動，因為廣播公司和制作人可以向觀眾傳輸可靠的高質量360度體驗。

松下解釋道：Haivision的KB Max編碼器可以為為HEVC/H.265和H.264編碼提供硬件和軟件加速支持，最高可達4K分辨率。松下的系統則將4臺1276萬像素的相機片段實時拼接在一起，并將2：1的等量矩形360度片段以4K分辨率輸出到KB Max編碼器。KB編碼器隨后將通過HLS，MPEG-DASH或Haivision的開源標準SRT協議來向360度播放器提供壓縮視頻。LiveScale平臺通過SRT接收4K H.264和HEVC視頻，并允許內容創作者向任何廣播，網絡和社交媒體傳輸優化的視頻質量，并以更高的投資回報率實現實時內容分發，覆蓋最廣泛的受眾群體。LiveScale能夠支持實時發布的自動化，并使用多云端技術來為用戶提供更高的服務質量，可靠性和全球網絡覆蓋范圍的靈活性。

PSSNA的產品經理Delix Alex表示：“對現場直播而言，失敗不是一種選擇。我們設計的AW-360C10和AW-360B10已經超出了專業現場活動視頻制作者的需求，并通過簡單易用的廣播解決方案提供可靠的實時360度視頻。Haivision的KB Max便攜式4K編碼器和LiveScale的云平臺是實時流媒體工作流程的重要組成部分，其具備SRT兼容性，可通過互聯網可靠并可擴展地傳輸360度內容。”

Haivision全球聯盟副總監Sylvio Jelovcich說道：“松下360度Live Camera等創新技術繼續為觀眾提供身臨其境的觀看體驗。從傳統廣播公司到現場活動制作人員，甚至公司廣播，與松下的合作可以幫助各類廣播公司，為全球各個地方的觀眾提供豐富可靠的360度體驗。”

LiveScale的聯合創始人兼執行總監Virgile Ollivier補充說：“我們很高興能夠在NAB上首次展示我們的LiveScale平臺，我們將展示LiveScale的全景云分布將如何協同松下的360度相機和Haivision的KB Max編碼器來為任何平臺的任何觀眾提供原始的逼真VR體驗，包括OTT服務和Facebook，Twitter，Periscope和YouTube等社交媒體。”

松下進一步指出，Haivision的KB系列互聯網媒體編碼器可以為現場直播活動提供多種選擇，為全球互聯網用戶提供最高品質的現場視頻。KB編碼器可用作小型便攜式設備，或者用于高清或4K流媒體的服務器配置。

對于LiveScale的技術，松下則強調說憑借其獨特的云端原生方法，LiveScale可以替代復雜且昂貴的實時流式工作流程（需要為每個內容交付插口提供單獨的編碼器，并為每個社交媒體平臺提供單獨的元數據管理工具）。但對于LiveScale，視頻只需編碼一次，上傳到云平臺，然后即可自動執行所有處理，調度，發布和流式傳輸到廣播，網絡，移動和社交媒體。僅需兩分鐘，LiveScale用戶就可以創建專用的端到端實時視頻工作流程，包括實時分析，無需任何專業技術或技能。

原文鏈接：https://yivian.com/news/43924.html