esky天極新聞2015-09-28 16:23:24

【Yesky新聞頻道消息】繼谷歌旗下視頻網(wǎng)站YouTube已成功完成從Flash到HTML5切換后，游戲直播平臺Twitch也將棄用Flash技術。

在舊金山Moscone中心舉行的首屆社區(qū)大會上，Twitch公司宣布，將于2016年第二季度完成Flash到HTML5的轉(zhuǎn)換，全面采用H5技術，徹底拋棄Flash。

游戲直播平臺Twitch于明年Q2全面采用HTML5

Twitch表示，HTML5技術有助于將其服務帶往更多平臺，不需要再操心第三方應用的支持問題。

值得一提的是，隨著HTML5技術的廣泛運用，Adobe Flash技術逐漸被企業(yè)和消費者棄用。自9月1日期，亞馬遜和谷歌相繼宣布將停用Flash廣告，以改進用戶體驗。

鋒網(wǎng)按：本文作者蔣海兵，趣拍產(chǎn)品總監(jiān)，直播行業(yè)老兵。

移動直播行業(yè)的火熱會在很長一段時間內(nèi)持續(xù)，通過和各行業(yè)的整合，從而成為具有無限可能性的行業(yè)。主要有以下三個原因：

第一，移動直播的UGC生產(chǎn)模式比PC端的直播更明顯，人人都有設備，隨時隨地開播，完全順應了互聯(lián)網(wǎng)時代的開放性原則，能刺激更多人去創(chuàng)造和傳播優(yōu)質(zhì)內(nèi)容。

第二，網(wǎng)絡帶寬和速度在逐漸提高，網(wǎng)絡成本在逐漸下降，為移動直播提供一個極佳的發(fā)展環(huán)境。文字、聲音、視頻、游戲等都會在移動直播中呈現(xiàn)，創(chuàng)造出更加豐富的用戶體驗。直播可以以SDK的形式接入到自己的應用中，比如，教育領域中的課后輔導完全可以以直播的形式開展業(yè)務、電商也可借助直播讓用戶挑選商品，促進銷售。

第三，一個與VR/AR技術相結合的移動直播為整個行業(yè)的未來提供了新的發(fā)展空間。VR/AR直播能夠讓用戶身臨其境，帶動主播與觀眾更貼近真實的互動，大大提高平臺的用戶參與度。

當下，有技術實力和流量優(yōu)勢的互聯(lián)網(wǎng)從業(yè)者都不愿錯過直播這個風口，如何快速搭建一個直播系統(tǒng)成了大家關心的問題，我想和大家分享下我的經(jīng)驗。我從事于一家直播產(chǎn)品開發(fā)商，我們的產(chǎn)品為了快速趕上市場，使用了云服務提供商的直播SDK。

從業(yè)者都知道，一個完整直播產(chǎn)品應該包含以下環(huán)節(jié)：推流端（采集、前處理、編碼、推流）、服務端處理（轉(zhuǎn)碼、錄制、截圖、鑒黃）、播放器（拉流、解碼、渲染）、互動系統(tǒng)（聊天室、禮物系統(tǒng)、贊）。 下面我就一一講述下直播SDK在各個環(huán)節(jié)所做的工作。

一、移動直播推流端需要做哪些工作？

直播推流端即主播端，主要通過手機攝像頭采集視頻數(shù)據(jù)和麥克風采集音頻數(shù)據(jù)，經(jīng)過一系列前處理、編碼、封裝，然后推流到CDN進行分發(fā)。

1、采集

移動直播SDK通過手機攝像頭和麥克風直接采集音視頻數(shù)據(jù)。其中，視頻采樣數(shù)據(jù)一般采用RGB或YUV格式、音頻采樣數(shù)據(jù)一般采用PCM格式。采集到的原始音視頻的體積是非常大的，需要經(jīng)過壓縮技術處理來提高傳輸效率。

2、前處理

在這個環(huán)節(jié)主要處理美顏、水印、模糊等效果。美顏功能幾乎是直播的標配功能。我們調(diào)研中發(fā)現(xiàn)太多case是因為沒有美顏功能被拋棄使用的。另外國家明確提出了，所有直播都必須打有水印并回放留存15天以上。

美顏實際上是通過算法去識別圖像中的皮膚部分，對皮膚區(qū)域進行色值調(diào)整。通過顏色對比找到皮膚區(qū)域，可以進行色值調(diào)整、添加白色圖層或調(diào)整透明度等來達到美白效果。在美顏處理方面，最著名的GPUImage提供了豐富的效果，同時可以支持iOS和Android，支持自己寫算法實現(xiàn)自己最理想的效果。GPUImage內(nèi)置了120多種常見濾鏡效果，添加濾鏡只需要簡單調(diào)用幾行代碼就可以了。

3、編碼

為了便于手機視頻的推流、拉流以及存儲，通常采用視頻編碼壓縮技術來減少視頻的體積，現(xiàn)在比較常用的視頻編碼是H.264。在音頻方面，比較常用的是AAC編碼格式，其它如MP3、WMA也是可選方案。視頻經(jīng)過編碼壓縮大大提高了視頻的存儲和傳輸效率，當然，經(jīng)過壓縮后的視頻在播放時必須進行解碼。

相較于之前的H.264，2012年誕生的H.265編解碼標準有了相當大的改善，做到了僅需要原來一半帶寬即可播放相同質(zhì)量的視頻，低于1.5Mbps的網(wǎng)絡也能傳輸1080p的高清視頻。像阿里云、金山云都在推自己的H.265編解碼技術，隨著直播的快速發(fā)展和對帶寬的依賴，H.265編解碼技術已有全面取代H.264的趨勢。

H264和H265個模塊技術差異：

另外，硬件編碼已經(jīng)成為移動直播的首選方案，軟編碼處理在720p以上的視頻頹勢非常明顯。在iOS平臺上硬件編碼的兼容性比較好，可以直接采用，但在Android平臺上，Media Codec編碼器針對不同的芯片平臺表現(xiàn)差異還是非常大的，要完全實現(xiàn)全平臺兼容的成本還是非常高的。

4、推流

要想用于推流還必須把音視頻數(shù)據(jù)使用傳輸協(xié)議進行封裝，變成流數(shù)據(jù)。常用的流傳輸協(xié)議有RTSP、RTMP、HLS等，使用RTMP傳輸?shù)难訒r通常在1–3秒，對于移動直播這種實時性要求非常高的場景，RTMP也成為移動直播中最常用的流傳輸協(xié)議。最后通過一定的Qos算法將音視頻流數(shù)據(jù)推送到網(wǎng)絡斷，通過CDN進行分發(fā)。在直播場景中，網(wǎng)絡不穩(wěn)定是非常常見的，這時就需要Qos來保證網(wǎng)絡不穩(wěn)情況下的用戶觀看直播的體驗，通常是通過主播端和播放端設置緩存，讓碼率均勻。另外，針對實時變化的網(wǎng)絡狀況，動態(tài)碼率和幀率也是最常用的策略。

當然，在網(wǎng)絡傳輸方面全部自己來做基本不現(xiàn)實，找提供推流服務的CDN服務商提供解決方案是最好的選擇。據(jù)了解，阿里云是國內(nèi)唯一能自研CDN緩存服務器的廠商，性能非常有保障。當然，大多數(shù)直播平臺都會同時接入多個視頻云服務提供商，這樣可以做拉流線路互備，對推流后視頻集群再進行優(yōu)化也可提高直播的流暢性和穩(wěn)定性。

二、服務端處理需要做哪些工作？

要想適配各終端和平臺，服務端還需要對流進行轉(zhuǎn)碼，如支持RTMP、HLS、FLV等格式拉流，支持一路轉(zhuǎn)多路適配不同網(wǎng)絡和分辨率的終端設備。

1、截圖、錄制、水印

像阿里云等云服務商都提供了實時轉(zhuǎn)碼技術，將用戶推流碼率較高（比如720P）實時轉(zhuǎn)化成較低清晰度（比如360P）的流以適應播放端的需求。如果要自己搭建實時轉(zhuǎn)碼系統(tǒng)，這個成本是極高的，一臺8核設備只能實時轉(zhuǎn)10路流，如果一個正常的直播平臺有1000路流，就需要100臺設備，加上后期的運維成本，一般公司就吃不消了。

2、鑒黃

2016年4月14日，文化部查出了斗魚、虎牙、YY、熊貓TV、六間房、9158等涉嫌提供含宣揚淫穢、暴力、教唆犯罪的網(wǎng)絡直播平臺，被列入查處名單。政府介入管制有利于直播行業(yè)打造健康的生態(tài)，進入良性發(fā)展。這也意味著為了安全直播產(chǎn)品鑒黃成了必需環(huán)節(jié)，使用技術手段去鑒黃是移動直播平臺必然采用的方案。

市面上提供鑒黃服務的方案主要有兩種：

第一種是對視頻進行截圖，然后對圖片進行鑒黃，返回鑒黃結果和分值。典型的企業(yè)有阿里（綠網(wǎng)）、圖譜科技，他們目前都支持直接傳入視頻，經(jīng)過服務端分析返回結果。通常由業(yè)務系統(tǒng)接入鑒黃服務，根據(jù)鑒黃結果對直播流進行控制，如切斷直播流、封禁賬號等。

第二種是和CDN結合，直接對直播流進行分析，識別結果分為色情、疑似色情、性感和正常，業(yè)務系統(tǒng)根據(jù)識別結果直接控制直播流。典型的企業(yè)是Viscovery，這套方案的優(yōu)點是實時性保證比較好，缺點是必須部署到CDN或自己的機房，使用成本相對高一些。

還有一種一站式直播解決方案提供商，他們的做法是，用戶只需在控制臺對鑒黃服務進行配置就可以針對每個應用、每一路直播流進行實時審核。在控制臺中，云服務商實時將鑒黃結果返回，用戶可以直接查看色情直播和違規(guī)界面的截圖，同時可以對直播流進行控制，切斷問題直播流。該服務商還提供了短信、郵件和站內(nèi)信功能，避免漏掉任何一個非法視頻，給平臺造成損失，我們就使用了這種方式。

三、播放器端需要做哪些工作？

在播放器端如何做到秒開，直播過程中保證畫面和聲音清晰度的同時，穩(wěn)定、流程、無卡頓的直播流量，這些工作都需要播放器端配合服務端來做優(yōu)化，做到精確調(diào)度。

1、拉流

拉流實際是推流的逆過程。首先通過播放端獲取碼流，標準的拉流格式有RTMP、HLS、FLV等。RTMP是Adobe的專利協(xié)議，開源軟件和開源庫都支持的比較好，如開源的librtmp庫，播放端只要支持flashPlayer的就能非常簡單的播放RTMP直播，直播延遲一般在1–3秒。

HLS是蘋果提出的基于HTTP的流媒體傳輸協(xié)議，HTML5可以直接打開播放，通過微信、QQ等軟件分享出去，用戶也可以直接觀看直播，可以說移動直播app，HLS拉流協(xié)議是必須支持的，缺點是延遲通常大于10秒。FLV（HTTP-FLV）協(xié)議是使用HTTP協(xié)議傳輸流媒體內(nèi)容的一個協(xié)議，也不用擔心被Adobe的專利綁架，直播延遲同樣可以做到1–3秒。

各拉流協(xié)議的差異：

我們使用的云服務的直播拉流技術提供了以上三種格式，滿足不同業(yè)務場景的需求，如對即時性要求較高或有互動需求的可以采用RTMP或FLV格式進行直播拉流播放；對于有回放或跨平臺需求的，推薦使用HLS。當然，三種協(xié)議是可以同時使用的，分別用到自己的場景就可以了。

2、解碼和渲染

拉流獲取封裝的視頻數(shù)據(jù)后，必須通過解碼器解碼、渲染后才能在播放器上播放。它是編碼的逆過程，是指從音視頻的數(shù)據(jù)中提取原始數(shù)據(jù)。前面介紹的H.264和H.265編碼格式都是有損壓縮，所以在提取后的原始數(shù)據(jù)，并非原始采樣數(shù)據(jù)，存在一定的信息丟失。因此，在視頻體積最小的情況下通過各種編碼參數(shù)保留最好的原始畫面，成為了各視頻公司的核心機密。

考慮對高清的支持，解碼肯定還是要選擇硬解碼的。前面介紹過，iOS系統(tǒng)由于硬件比較單一、比較封閉，支持的比較好，Android系統(tǒng)由于平臺差異非常大，編解碼要完全兼容各平臺還需要很多工作要做。

四、移動直播中的交互系統(tǒng)

移動直播中最常見的交互有聊天室（彈幕）、點贊、打賞和禮物等，交互系統(tǒng)涉及消息的實時性和互動性，在技術實現(xiàn)上大多是使用IM的功能來實現(xiàn)的。對于在線人數(shù)比較多的房間，彈幕消息量是非常大，主播與用戶其實都看不過來，為了緩解服務器壓力，在產(chǎn)品策略需要做一些必要的優(yōu)化。

1、聊天室

移動直播中的彈幕交互是用戶和主播互動的主要方式，實際上就是IM中的聊天室功能。聊天室和群聊功能類似，但聊天室的消息是不需要分發(fā)給不在線的用戶的，歷史消息也不需要查看，用戶只有進入聊天室后才能查看聊天消息和群成員信息。面對復雜多變的網(wǎng)絡狀況，還需要根據(jù)用戶位置就近選擇近對應運營商的單線機房接入彈幕消息服務，讓彈幕更及時。

2、禮物系統(tǒng)

禮物系統(tǒng)更是絕大多數(shù)移動直播平臺的標配了，它是這些平臺主要的收入來源。送禮物的形式也增強了用戶和主播之間的互動交流，也是主播依賴平臺的最主要原因。

禮物的收發(fā)在技術實現(xiàn)上也是用聊天室接口做的，通常采用IM中的自定義消息實現(xiàn)，當用戶收到或發(fā)送禮物時將自定義消息對應的禮物圖形渲染出來。

以上就是我們在使用了第三方SDK服務后總結出來的直播產(chǎn)品經(jīng)驗，希望能幫助到創(chuàng)業(yè)者和從業(yè)者們。

以能看各種直播的app如下：有電商問題找：學買賣 商家社區(qū)

1、虎牙直播

虎牙是成立2016年的國內(nèi)大型的游戲直播平臺，也是中國首家全網(wǎng)啟用HTML5直播技術的平臺，該平臺主要以游戲直播為核心的彈幕互動，擁有諸多當下最為火爆的3800多款游戲內(nèi)容，致力為用戶提供高清，流暢的直播服務，自上市以來，就起的巨大的成就，受到很多用戶的追捧。

2、斗魚

斗魚是武漢斗魚網(wǎng)絡科技旗下的一款彈幕式直播分享平臺，是國內(nèi)第一家率先進入D輪的網(wǎng)絡直播平臺。該平臺主要以游戲為主，在體育，綜藝，娛樂等也有覆蓋，為每一位用戶打造高品質(zhì)的直播內(nèi)容，在市場上的產(chǎn)憂慮很高。

3、快手直播

快手是國內(nèi)知名短視頻快手旗下的一個電商平臺，主要以帶貨為主。作為一款專業(yè)直播平臺，它培育了眾多網(wǎng)紅紅人，為電商領域取得了不錯的成就，也是國內(nèi)十大直播平臺之一。

4、嗶哩嗶哩bilibili

嗶哩嗶哩是成立于2009年的中國年輕世代高度聚集的現(xiàn)代化文化社區(qū)和視頻平臺，為用戶提供了移動游戲，直播，付費內(nèi)容，漫畫等諸多內(nèi)容，其直播覆蓋面廣，是當下最受歡迎的直播平臺之一。

5、CC直播

CC直播是網(wǎng)易旗下的一款大型以游戲和娛樂為主直播平臺，富含多種受歡迎的網(wǎng)易系列游戲。其注冊用戶超過2.8億，簽約了20多萬個主播，在2020年，榮獲年度人氣游戲直播品牌稱號。