要：基于WebGL和視頻圖傳技術，利用傾斜攝影實景三維數據，分析構建視頻監控圖像與仿真現實地理空間高度融合場景的技術方法。完整闡述場景構建、信號接入、投影融合、圖像拼接的技術路線，詳述融合的數學模型和編程實現，并結合多年市場調研經驗，介紹本項研究的市場應用前景。

關鍵詞： WebGL 傾斜攝影 實景三維數據 投影融合 測繪學 視頻圖傳

在地理信息系統(GIS)領域中，基于傾斜攝影測量技術制作的實景三維場景具有多項優勢[1]，不僅能完整地還原地形地貌，尤其是城市環境中的建筑物外立面、近地面廣告牌等環境細節，而且具有高精度的可量測性[2]，可進行全角度的三維測量。但是，實景三維場景是某一時間節點的測量成果，本質上屬于靜態地圖[3]，數據的現勢性問題無法避免。為解決這個問題，實景三維GIS越來越多地接入物聯網傳感器，融合現實世界的動態情況，來滿足各自的業務需求[4]。如接入定位信號，在實景三維場景中顯示人員和車輛實時位置等。其中一項最重要的物聯網傳感器就是視頻監控設備，負責將現實世界的實時圖像信息接入由實景三維數據構建的虛擬現實場景，并得到廣泛應用。然而單一視頻監控圖像的視域范圍有限，多路視頻切換或分屏播放都會導致監控目標失去焦點，影響監控效果[5]。同時，屏幕化的視頻監控圖像孤立于周邊環境，不能通過屏幕畫面直觀地了解視頻監控圖像在現實世界中的確切位置，及其與周邊環境的關系。因此，將視頻監控圖像以幾何投影方式貼合到地面(簡稱視頻貼地)，融合到實景三維場景中，多路視頻畫面在空間上拼接，形成較大區域的連續畫面，確立完整的視頻監控環境成為GIS應用研究中一項十分必要的工作。

實現實景三維場景與視頻監控圖像融合的思路主要包括桌面端和瀏覽器端兩個方面，本文將主要論述瀏覽器端的研究。

1、基于WebGL構建的實景三維場景

WebGL(WebGraphicsLibrary)是一種三維繪圖協議，把JavaScript和OpenGLES2.0結合在一起，為HTML5Canvas提供硬件三維加速渲染[6]。這樣就可以在網頁瀏覽器直接渲染實景三維場景，而不需要外置插件。目前，常用的WebGL二次開發接口有CesiumJS和three.js，它們都有完善的地理坐標系接口，可以用于開發標準的GIS應用項目。本文以CesiumJS接口庫為例，構建實景三維場景，因為CesiumJS定義了適宜于網絡傳輸的實景三維數據格式:3DTiles，這種數據是以樹形結構組織起來的瓦片(tiles)集合，并且可以由實景三維建模軟件ContextCapture直接生產[7]。

CesiumJS建立實景三維場景的方法十分簡潔:首先，創建場景對象(Viewer);然后，創建實景三維數據對象(Cesium3DTileset);最后，向場景對象中添加(viewer.scene.primitives.add)對象即可，如圖1所示。

圖1CesiumJS建立實景三維的方法

但需要注意的是實景三維數據的高度，與CesiumJS默認的“地球”之間會存在空隙，因此，還要利用CesiumTerrainProvider對象引入地形數據，最終形成完整的環境效果。

2、視頻監控圖像信號接入

視頻監控圖像接入場景首先要獲取到它的數據流，不同廠商和型號的數據流使用的編碼標準不盡相同，為了具備更好的兼容性，需要使用通用的網絡流媒體協議RTSP(Real-TimeStreamProtocol)進行應用層的數據解析[8]。各廠商設備的RTSP協議取流方法有所區別，但是基本格式相似，都主要包括了IP地址、端口和通道3個參數，以海康設備為例，格式如下:

rtsp://username:password@<address>:<port>/Streaming/Channels/<id>。

但是，目前的HTML5的video標簽仍然無法直接播放RTSP直播數據流，研究中使用了開源視頻播放器VLC提供的流媒體轉碼功能將RTSP轉碼為可以直接播放的OGG格式流數據。VLC的轉碼命令為#transcode，在命令處理工具中執行即可[9]。多路視頻同時轉碼只需要創建VLC命令的JavaScript腳本，利用Node.js執行即可。但是，此時的OGG格式流數據存在跨域訪問問題，需要在Nginx中代理，并添加頭配置。經過代理的OGG格式流數據可以直接被HTML5播放，配置參數如下:add＿headerAccess-Control-Allow-Origin*。

CesiumJS在實景三維場景中接入視頻資源的方法是將video標簽作為材質對象(Material)賦予渲染基元(Primitive)，然后在場景中創建出來即可最終實現接入。總結下來，接入流程如圖2所示。

3、視頻監控圖像投影融合

實景三維場景完美地還原了現實世界的空間關系，相機拍攝的畫面本質上是鏡頭曝光平面沿著視錐體在地面上的投影[10]。而視頻監控圖像與實景三維場景融合的關鍵問題就是將監控圖像與場景中的同名點配準，實現同名點的重合，也就是將畫面逐個像素的坐標從本地坐標系轉變到視錐體裁剪坐標系[11]中。依據這個思路，在實景三維場景中，同樣還原相機的空間位置和安裝姿態，并且模擬鏡頭的視錐體，如圖3所示，在視平面還原視頻監控圖像，利用視錐體獲得其在實景三維數據表面的投影范圍，即可實現圖像投影融合。

圖2CesiumJS接入視頻流程

圖3鏡頭模擬的視椎體

還原相機所需的主要參數包括表1中幾項，這些參數可以通過測量和查看設備說明書獲得。

表1相機主要參數

視頻貼地的渲染基元采用分類基元類(ClassificationPrimitive)，其一致性映射(＿uniformMap)參數控制webgl渲染的深度計算和坐標轉換等映射方式，包括立方體模型視圖(u＿boxMV)和逆立方體模型視圖(u＿inverseBoxMV)兩個變量，這兩個變量用于執行透視除法，確定視頻裁剪后在實景三維數據表面貼地范圍。其計算方法參照WebGL投影變換的基本原理[12]，示意圖如圖4所示。

圖4WebGL投影變換基本原理

首先將相機視錐體原點定位到地理坐標，再利用四維矩陣的計算辦法將地理坐標、朝向、俯角、旋轉角4個參數共同計算組成相機類(Camera)的視圖矩陣(viewMatrix)和逆視圖矩陣(inverseViewMatrix)。然后，使用透視錐體類(PerspectiveFrustum)創建視錐體，包括視場角、寬高比、焦距、拍攝距離4個參數。透視錐體類的投影矩陣參數(projectionMatrix)可以獲取該視錐體的透視投影矩陣，經過反轉(Matrix4.inverse)并與逆視圖矩陣相乘(Matrix4.multiply)得到逆視圖投影矩陣，結果再反轉即可得到視圖投影矩陣。此時得到的視圖投影矩陣可以用于完成坐標變換，利用拍攝距離和四維矩陣的創建辦法(Matrix4.fromUniformScale)生成遠平面標準模型矩陣，如下所示:

[拍攝距離，0.0,0.0,0.0]

[0.0，拍攝距離，0.0,0.0]

[0.0,0.0，拍攝距離，0.0]

[0.0,0.0,0.0,1.0]

再與逆視圖矩陣相乘得到變換所需模型矩陣，并賦予視頻貼地渲染基元的模型矩陣參數(modelMatrix)，完成視頻監控畫面變換到世界坐標系。最后將模擬的視頻監控設備的視圖矩陣與逆視圖投影矩陣相乘，得到立方體模型視圖，同理得到逆立方體模型視圖。將這兩個模型視圖賦予分類基元類的一致性映射參數便可以最終實現視頻監控圖像與實景三維場景的融合，融合效果如圖5所示。

融合效果可以通過以下3點判斷:第一，路口斑馬線在投影后的角度符合實際的平行關系，并且位置與實際位置完全重合;第二，建筑立面牌匾寬度和文字完全重合;第三，人行道邊緣完全銜接。

視頻貼地的基元可以動態渲染，只需要在基元的更新方法(update)中，傳入相機參數，判斷視錐體是否發生變化并相應重新計算模型視圖即可，更新方法(update)會在每一幀調用。如將朝向參數從155.4調整為152，視頻向逆時針旋轉，牌匾錯開的效果如圖6所示。

綜上所述，視頻監控圖像投影融合技術路線總結如圖7所示。

圖5視頻監控與實景三維場景的融合效果

圖6視頻貼地的基元動態渲染效果

圖7視頻監控圖像投影融合技術路線

4、視頻監控圖像拼接

多路視頻監控圖像的拼接就是將多路視頻同時融合到實景三維場景中，依據擇優原則，裁切掉重疊部分，形成連續的監控圖像。CesiumJS的材質類(Material)提供了透明通道參數(alphaImage)，該參數接收灰度(黑-灰-白)圖片，然后與視頻監控圖像進行掩碼計算[13]，便可實現視頻監控圖像的裁切。本地的灰度圖片在創建和編輯的操作方面都不利于Web平臺的維護，因此，需要在瀏覽器的畫布標簽(canvas)中動態繪制灰度圖。canvas標簽提供了完整的繪制方法，lineTo()方法繪制閉合的可見范圍，fill()方法填充顏色，然后將畫布轉為base64編碼格式的圖片，與相機參數共同存儲即可，如圖8、圖9所示。

圖8視頻圖像裁切的灰度圖

圖9多路視頻融合效果

圖10為圍繞十字路口的五路視頻監控圖像拼接成一幅連續畫面的效果，箭頭所指為監控圖像邊界，圈中可以看到一輛公交車從北向南行駛，連續穿越多個分視頻畫面。實驗中視頻監控設備的安裝參數存在誤差導致畫面中物體穿越存在偏移，也證明相機參數對貼地的效果存在關鍵性的影響。

圖10圖像拼接連續畫面的效果

5、結束語

視頻監控目前已經成為國家公共安全、國防、防災應急、消防、旅游工作中應用最為普遍的技術手段。天網工程、雪亮工程、綜合防治工程、磐石行動、數字城管工程等重要工程都圍繞或重點采用這種技術建設。

在多年的用戶體驗積累[9]中可以總結出，用戶需求在視頻監控的空間屬性方面做出進一步的應用效果提升。尤其是在無人機視頻圖傳的應用不斷深入的背景下，視頻與實景三維數據動態融合的應用前景將更加寬廣。

各部門具體應用可大致總結如下:在公安行業，可應用于人員和車輛的連續跟蹤，重點區域合屏監控等;在城管行業，可應用于早、夜市整條街的同時監控;利用無人機進行火災、洪水、地震等自然災害的實時監控和救援搜索;重要機關單位、廠礦、商場、監獄的室內外安保連續監控;在旅游行業，利用固定視頻監控和無人機視頻圖傳應用于景區巡查與搜救、景區宣傳等。

T之家訊 4月14日消息，著名的免費老牌播放器VLC Media Player 2.2.1已經發布，本次更新修復了2.2.0版的大量問題，完善了新版各項功能，建議新老用戶下載使用這一版本。

軟件簡介：

它支持眾多音頻與視頻解碼器及檔案格式，并支持DVD、VCD的播放及各類串流協議。它亦能作為unicast和multicast的串流服務器在IPv4以及IPv6的高速網絡連線下使用。它融合了FFmpeg出品的解碼器與libdvdcss程序庫，這更使其增添了播放多媒體檔案及加密DVD影碟的功能。

VLC Media Player廣泛支持主流的多媒體格式，如MPEG、WMV、MP4、MOV、3GP、FLV (Flash)等，可播放DVD影碟，更支持在線媒體播放，可謂緊跟時代步伐。VLC的強大之處在于，它可以播放您從互聯網上下載的幾乎任何格式的視頻文件，支持播放某些沒有下載完成的視頻文件部份內容，并支持邊下載邊觀看，在同類軟件中它可算是先驅者了。如果遇到VLC無法識別的文件類型，它會嘗試用最可靠的方式來打開它，這往往非常見效。

VLC Media Player 2.2.1更新日志：

? 編解碼器

- 修復libavcodec舊版本編譯問題

- 修復一些VP9解碼問題

- 修復FLAC崩潰問題

- 修復lpcm頻道提供

- 修復潛在NULL引用問題

- 修復DVB PES包中的圖文框代碼

- 修復schroendinger解碼器潛在的緩沖溢出

- 修復AAC采樣率

? 分配器

- 修復MP4章節

- 修復MKV過度搜索問題，包括網絡分享緩慢等

- 修復播放SPC文件的崩潰問題

- 修復MKV中ATRAC3播放問題

- 恢復舊版ASX代碼

- 通過mpeg音頻解決TS問題

? 接入

- 修復sftp讀取，關閉套接字

- 使用Linux DVB 5.8以下版本修復DTV

- 修復Windows系統UDP/RTP輸入

? 音頻輸出

- 修復Alsa HDMI插件

- 使用更大緩沖區提升Alsa輸出

- 使用多頻道文件修復DirectSound輸出

軟媒軟件管家已對VLC Media Player進行了收錄，“一鍵無插件純凈裝機”智能屏蔽所有插件！

支持Windows XP、Vista、Win7、Win8、Win8.1、Win10等平臺，27.51MB，免費版，支持簡體中文。

更多軟件，請訪問IT之家-軟件頻道。