大傢好，我是李康Max。前年(2021年)，我按照屏幕形狀和內容緯度，結合產業發展整理出瞭13種視頻模式。我寫瞭《VR中的13種視頻模式解析》

去年(2022年)，跟隨著PICO視頻演唱會系列內容上線，已經突破瞭原有模式，產生瞭第14種——VR虛實拼接模式。我寫瞭《Pico汪峰VR演唱會產品體驗報告》

今年(2023年)，隨著Apple Vision Pro的發佈，視頻透視(VST)有瞭標桿性產品。根據VST本身的價值，我預測未來市場上將會新增3種融合現實視頻模式。3.5D矩形視頻模式，可透視3D全景視頻模式，BR/MR虛實拼接模式模式。 目前，這3種模式基於visionOS虛實融合的思路構建，我會通過幾篇文章解釋討論。

基於visionOS的 3.5D矩形視頻模式

“去電影院看3D電影，已經是個過去式瞭。”

我們可以看到恐龍的頭部越出瞭邊框。從現場的體驗反饋來看這是個模型，但是通過視頻的方式依舊可以實現，這就是3.5D矩形視頻模式。

現有3D矩形視頻的痛點

• 3D影院和電視紅極一時

隨著《阿凡達1》的上映，3D電影紅極一時。當年幾乎所有的電影都要做成3D的，而現在越來越多的電影不再用3D瞭。甚至現在最好的矩形3D資源，還是當年索尼LG等電視廠商用於商場裡播放的測試片。

• “除瞭字幕，沒覺得哪裡3D瞭”

人眼一般超過5～8米就分辨3D物體能力就大幅下降瞭，這時候一般認知和基本遮擋關系判斷3D關系。所以距離用戶越近的內容，用戶3D感越強。現在的3D電影更基本都是凹進去的3D，很少構建屏幕框前面內容的3D化。字幕反而變成瞭最靠近用戶的，所以字幕的3D感是最強的。

• 假3D盛行

正常3D電影需要通過雙攝像頭的設備拍攝，但是這種生產過程需要花費很大的人力財力。有些電影就投機取巧，既然3D內容都是屏幕裡面的物體，3D感對於用戶體驗影響不明顯。就使用瞭，先拍攝2D電影，後期轉成3D版。這樣既降低瞭拍攝成本，又賣瞭3D價格的票房，而用戶體驗就不管瞭。

• 凸出熒幕的內容 基本都是直來直去

就像貞子爬出電視一樣，《戰狼1》中炮彈打出屏幕，《龍門飛甲》中弓箭射出屏幕，《裡約大冒險》中飛鳥直沖而來，幾乎讓人留下印象的3D鏡頭都是懟著用戶臉來的。

因為現在影院熒幕都是投影儀的原理，所以用戶看到的3D電影實際上凸出來的物體是一個從矩形屏幕到人眼到錐體。當汽車在邊上出現的時候，錐體會對內容進行切割，所以都是盡量避免內容從屏幕凸出來，隻有極少數從中間凸出來的也是需要專門設計。

• 3D視頻不清晰 畫面糊

因為使用偏振光模式，需要帶一個“墨鏡”，會降低畫面亮度和色彩飽和度。當然這種問題在XR中其實不存在，因為視頻左右眼都是單獨輸出的。現在主要卡點在於流媒體視頻碼率上。前幾年，國內視頻網站 壓縮視頻碼率已經成為“常規操作”。現在狀況一直在變好。

3.5D矩形視頻模式是什麼

讓影視內容場景元素 突破屏幕結構限制。

• 傳統的3D矩形模式 內容分佈

下圖展示的是人看3D矩形視頻的頂視圖。嘗試把3D物體畫進去，假3D電影一般就隻有124內容做一點3D感，好一點的3D電影則會提供1234的立體內容。而5號內容將會被舍棄，假設5號是一架飛機，很難想象用戶隻看到一個3D飛機翅膀突出屏幕是什麼感受。 而且電影中絕大多數的鏡頭都是隻有124號內容，3號長駐內容隻有字幕。

• 3.5D矩形視頻模式主要內容特點

因為XR設備中，並不受到現實屏幕的限制。所以我們可以把5號6號完整的展示出來。寫實一點展示，就像是內容走出瞭屏幕一樣。

• 對超過框架的內容扣像

我們在B站油管上偶爾會看到一些裸眼3D效果視頻，通過設計遮擋關系制造3D感。所以如果我們要采用走出邊框的3D物體，就要把物體背景去掉，換做透明背景。

• 3.5D矩形視頻內容分佈特點

所以實際上我們是設計兩個FOV的內容，讓背景保持在一個小FOV中，而內容則展示在一個大FOV下，同時刪掉矩形屏幕後面的3D物體和背景。如下圖一樣。

其中7號內容，就因為被屏幕本身遮擋就不會出現。

優缺點討論

• 通過視頻內容遮擋播放器邊框，加強3D感

• 沒有瞭棱錐型空間限制，3D物體可以在屏幕前盡情遊蕩。

這個模式讓凸出的3D物體，在用戶眼前的空間上下左右盡情竄動，甚至可以設計一個小蟲子沿著矩形邊框外沿爬一圈。

就像下面這個對波的場景一樣，我們如果把矩形的框卡在孫悟飯的手位置，那麼在矩形影片看來孫悟飯就是從屏幕中走出來瞭，直接打破第四面墻。再想像一下，你在電影院看蜘蛛俠3D電影，蜘蛛俠能夠躍出屏幕在地板、天花板亂竄。

• 還原矩形視頻講故事的能力，避免用戶迷失。

並不是所有故事都越沉浸越好。就像小說可以激發用戶想象力，相聲可以引發用戶聯想一樣，不同的模式適合講不同的故事。矩形視頻作為現在最為常用的模式，用戶更容易理解和接受。矩形視頻也有自己講故事的能力，矩形讓用戶不用轉頭，保持註意力。各種鏡頭調度創建蒙太奇和構建氛圍。同時這種方式避免瞭因為VR視頻太過真實，但是用戶無法互動，進而產生的“自我肉身迷失”感。

• 影視內容制作難度加大瞭。

之前的3D影視內容拍攝，FOV是確認的（屏幕比例是確認的），隻需要找到一個角度和位置，把凸在屏幕前面的3D內容刪掉。而3.5D實際上是拍攝兩個FOV，同時還要記錄兩個FOV中間內容的空間深度，刪掉背景保留前景。前景內容也需要針對性選擇。所以視頻拍攝就要使用魚眼鏡頭捕獲一個大廣角，每一幀都要針對框外元素進行扣圖。當然給拍攝設備增加深度傳感器直接捕獲3D信息，通過AI技術進行扣圖提升制作效率，剛好這兩個技術在當下已經足夠成熟瞭。

市場影響預估

• 有望完全取代並超越現有3D電影市場

因為XR的視頻輸出是左右眼一一對應的，所以可以避免影院中佩戴偏振光眼鏡造成的亮度和飽和度損失。同時，靈活的使用屏幕框的位置和大小，相對於現在影院的3D視頻是絕對的升維。雖然這種模式依賴於VR/MR設備保有量，需要時間來普及。但從體驗上來說，已經完全超越現有影院。所以樂觀的來說，此模式已經具備瞭完全取代並超越現有3D電影市場的條件。什麼？影院的社交需求？還是交還給2D矩形視頻吧！

• Apple Vision Pro已經準備好瞭！

AVP已經具備瞭這種視頻模式的生產、加工、播放、傳播的全部工業流程，這種能力是蘋果獨一份的！

AVP的兩個實拍攝像頭就是魚眼鏡頭，剛好拍攝的同距就是人類普遍適用同距，同時AVP具備空間掃描雷達可以記錄每個像素的空間信息，結合M2芯片強大的視頻處理能力。無論是Apple直接幫你選定框的位置還是自己手動選擇框的位置，AVP都是制作這種視頻的最佳工具。

當然，就AVP的屏幕素質來說，它甚至能夠還原出吹蠟燭時的煙霧。如果依賴於M2強大的算力，把煙霧吹到屏幕邊框外也有可能實現，這是最佳3.5D矩形視頻播放設備！

總結說明

相較於傳統設備播放3D視頻來說，XR設備可以打破傳統屏幕框架。對於魚眼3D視頻來說，矩形方式又保留瞭一般電影講故事的能力，用戶也更加熟悉。另外，也沒有額外擴展互動能力，所以我認為這個是相對於3D視頻的0.5度升級，我暫稱為3.5矩形視頻模式。

感謝你的點贊收藏轉發。如果你對內容有疑問，歡迎交流討論。微信公眾號：九棱鏡的筆記個人微信號：LikangMax