諾瓦XR解決方案

　　一、項目背景

　　XR，即Extended Reality, 擴展現實技術。它允許用戶在實時生產環境中使用AR(增強現實)和MR(混合現實)將虛擬和物理世界混合在一起，以創建完全沉浸式的體驗。

　　目前該技術已在電影制作、廣告拍攝、大型活動中呈井噴之勢。典型如好萊塢熱劇《曼達洛人》、《西部世界》，“美國偶像”綜藝節目中Katty Perry的表演，國內雙十一晚會李榮浩現場演唱的《耳朵》，2021春晚周杰倫的《Mojito》表演等，其中均運用了大量xR元素。

　　該解決方案前端需要對應的動作捕捉設備去配合相機完成拍攝，輔以特殊的媒體服務器配合游戲引擎完成內容實時渲染及節目編輯，后端通過顯示屏控制系統完成節目傳送，實現屏體內容的顯示。

　　這是XR拍攝時的整個系統構成圖：

　　整個XR系統看起來組成復雜，用的設備很多;但LED顯示屏是其中不可或缺的重要設備;因為所有的虛擬畫面都要通過LED屏顯示出來，再通過攝像機拍攝，才能最終完成XR場景。

　　總體上可以說：是XR發現了LED顯示屏新的方向和價值。

　　二、項目優勢

　　以往傳統的影片是以綠幕的方式進行拍攝的。步驟是這樣的：

　　1. 先用綠幕進行拍攝;

　　2. 進行大量的后期制作，最終完成影片;

　　這種綠幕影片拍攝的劣勢非常明顯：

　　1. 演員演戲全靠想象，導致拍攝難度極大;

　　2. 導演無法在現場看到效果，導致如果后期制作遇到難題時，只能重新拍攝，比較麻煩;

　　3. 要花費大量的人力和時間在后期制作上，相信大家都有聽說過好萊塢的百萬調色師的傳說;

　　而XR能有效解決上述痛點，提升整個影視制作效率與水準。基于XR的影片拍攝越來越火爆;其拍攝步驟是這樣的：

　　1. 將制作好的場景在LED屏上播放;

　　2. 演員直接在一個由LED屏組成的虛擬拍攝場地進行表演;

　　3. 使用攝像機直接進行拍攝，導演可以同步在監視器上看到拍攝效果。

　　這種拍攝方式的優勢非常明顯：

　　1. 演員不用憑空想象著完成表演;

　　2. 拍攝過程中導演就可以看到拍攝效果，如果有問題，當場就可以重拍，節約拍攝時間，減少后期的重復投入;

　　3. 后期制作簡單，時間短，出片周期大大縮短;

　　XR還具有廣泛的應用場景和前景：

　　1. 影視制作：一般電影約有 10%-15%的內容，需要在攝影棚制作。XR 營造了逼真的攝制空間，演員、導演可以實時看到拍攝和表演效果。這對于影視行業有著極大的吸引力。現在，國內很多地方都重視文娛、文化、文旅產業，爭相落地電影制造基地、影棚等。

　　2. 產品發布會：疫情的影響，讓更多的廠商把發布會轉移到線上。線上發布會，成本急劇下降，受眾極大擴充。加上 XR 的加持，發布會的播出效果將會超出人們的想象。發布會是實時播出，效果對 XR 的依賴很重。

　　3. 廣電類節目制作：各種錄播節目，可以依靠 XR 影棚，低成本達到更好的效果。

　　4. 科教：教育將是 XR 的一個典型應用場景。無論是大型現場還是線上教育，抑或是博物館等科普場所，XR 將提供直觀的、身臨其境、逼真的實時效果。

　　5. 演唱會、電視節目。比如以后請嘉賓，請到的可能是虛擬的，或者是異地表演的。一方面是檔期，如果嘉賓檔期有限，來錄制要幾天，可能就請不到了。一方面是，一個嘉賓背后有著一堆經紀人、后勤等人員，吃喝拉撒費用極高。如果是虛擬的，可以解決很多問題。

　　6. 游戲及相關活動：游戲本身就是虛擬的，無論是游戲本身，還是游戲競賽和游戲

　　活動相關，最適合虛擬和現實結合。

　　對于LED顯示來說，XR應用場景是一塊待挖掘的新市場。

　　新思界產業研究中心出具的《2020年全球及中國擴展現實(XR)產業深度研究報告》顯示，2019年全球擴展現實市場規模為186億美元，在預測期(2020- 2030年)以48.3%的復合年增長率增長。

　　三、項目問題

　　當前，國內大多的XR應用均是以租賃或者固裝來做的，所用的LED屏也只是常規屏。這表明，大家對XR的認知不足。

　　LED顯示在XR應用中的亂象：

　　1. 用三塊租賃P3.9的屏，放墻角一搭，跟配套的其他租用視頻媒體服務器設備接在一起，然后就成了XR;

　　2. 用固裝P2.5屏，搭上幾塊，再搞些媒體服務器，成了XR ;

　　由于RGB排列導致不同視角時接收到的RGB光強度不一樣，從而出現不同角度看到的顏色不一致，出現細節丟失，出現輪廓線和色帶的問題;顯示的顏色不精準，存在偏色，如顯示的人臉偏紅等，導致后期制作投入大;顯示畫面的對比度不足，導致拍攝景深不足等問題。

　　那XR應用需要什么樣的LED屏?

　　在現在，要有效地提升畫質，拍攝的內容的質量也是很關鍵的。不得不聊聊HDR了。因為HDR就是為了還原真實世界而存在的。

　　Nova是行業內第一家支持HDR顯示的公司，并且我們不僅支持了HDR10，還支持了廣泛應用于廣電領域的HLG，得到許多歐美客戶的青睞。像歐洲的LONG公司就是使用的我們的HDR解決方案。

　　XR對LED屏的基礎要求：

　　1. 拍攝無掃描線;

　　保證屏體的視覺刷新率要高，以保證攝像機拍不到掃描線;

　　屏體設計：低掃數，靜態顯示最佳，諾瓦建議不要超過8S;

　　控制系統：配合IC保證低灰刷新率夠高;支持genlock，能使顯示屏與視頻源和攝像機保持同步;

　　2. 保證屏體灰度級數要夠高，色彩控制更精準;

　　屏體設計：選用的RGB燈珠能覆蓋客戶使用的色域范圍;設計的屏體沒有耦合(屏體設計和IC選用)，白對黑的耦合，黑對白的耦合以及跨板耦合等。

　　控制系統：配合IC保證提升屏體的灰度級數; 能對屏體進行標定：校準屏體0~255的亮度符合EOTF曲線;校準屏體的色彩準確度，保證δE<4 。

　　3. 任意視角顯示色彩一致

　　保證RGB芯片間距足小。屏體設計：選用更小尺寸的LED芯片;面罩進行特殊設計.

　　控制系統： 在出現問題時，能快速調節RGB的配比保證，一些機位顯示色彩正常。

　　XR對LED屏更高的需求：

　　8K、HDR、HFR 120Hz/144Hz/240Hz、精準色彩、10bit/12bit、超低延遲

　　三、解決方案

　　在控制系統端，諾瓦可提供如下解決方案：

　　1.方案架構

　　VMP+MX40 Pro+A10s Pro

　　諾瓦科技xR沉浸式解決方案

　　xR沉浸式解決方案，聚焦xR顯示應用場景，精準還原畫面真實色彩、保留圖像細節，搭載高幀頻、相位調節，倍頻等處理技術，解決xR拍攝動態過程中，由于顯示屏刷新不足，由之而來的掃描線、黑場問題。同時搭載畫質引擎技術，進一步增強顯示畫質，讓LED顯示屏重獲新生，打造至臻xR解決方案。

　　2.方案特點

　　小間距技術發展的突飛猛進，LED顯示畫質被寄予了越來越高的期待，尤其在影視拍攝、xR等高端顯示應用領域。

 畫質引擎&動態引擎

　　全新MX系列控制系統搭載諾瓦全新一代畫質引擎和動態引擎，全方位提升LED屏顯示畫質，打造身臨其境的沉浸式觀感，為xR場景拍攝提供充分保障。

 VMP

　　Vision、Management,、Platform ——諾瓦全新LED顯示操控平臺，集設計，調試，監控，管理于一身。全流程工作平臺，工作質量和效率兼顧，解放想象力限制，每個人都可以是顯示屏的設計師。

 多視角實時顏色調節

　　為了徹底解決由于攝像視角變化，產生的偏色問題。在VMP + MX40 Pro + A10s Pro的基礎上，給出了實時顏色調節的解決方案。

　　VMP操作平臺，先將攝像機固定視角的屏體顏色信息進行調節預存，Genlock 信號連接攝像機或 Genlock信號發生器;當攝像機運動到此固定視角后，實時調取預存的信息，數據實時下發，保證從該視角捕捉到的畫面顏色信息準確。另外，實時顏色調節可以滿足多機位同一時間，同時拍攝，解決多機位不同角度畫面顏色偏色問題。

 倍頻 + 插幀

　　倍頻，可讓LED顯示屏適配更多的攝像機快門角度，使得顯示屏刷新時間與攝像機快門時間保持一致，去除黑場，掃描線，從而為攝像機拍攝顯示屏提供更靈活地選擇。

　　插幀，原理和倍頻一致。只不過倍入的幀頻為不同視頻源畫面?？墒沟枚嗯_攝像機，和控制器通過Genlock連接后，與其分別對應要拍攝的視頻素材幀頻率，進行相位偏移后同步。以保證每個攝像機可以完美捕捉到各自對應的視頻素材 背景，從而在同一時間線上，同一場景，對不同內容的素材進行輸出。成本節省，一勞永逸。

 相位調節

　　當攝像機曝光時間和LED刷新時間通過倍頻功能調節一致后，開啟相位調節，調整使攝像機

　　拍攝頻率和顯示屏刷新頻率保持同步，從而有效解決丟灰、增色，掃描線、黑線的問題。

 Shutter sync

　　MX40 Pro 可通過Shutter Sync同步攝像機快門速度，使顯示屏自動調節適配攝像機曝光時間和頻率，再結合相位偏移，有效解決掃描線，黑場問題。

 支持高幀頻輸入

　　控制器最高支持達144HZ輸入幀頻，保證拍攝高速運動物體時，能減少畫面殘影、拖影等問題;

 HDR高動態范圍顯示

　　支持HDR高動態顯示，屏體顏色、亮暗部細節得到精確還原，為拍攝現場創建生動場景;

 超低延遲

　　系統延遲最低可達1幀，現場拍攝銜接更流暢。

　　五、 項目案例

　　加拿大影視技術制作公司JOEL LAW MEDIA與Promosa聯合打造，使用NovaStar專業XR顯示控制解決方案。