視頻直播是指利用互聯網及流媒體技術，硬件視頻采集卡組合起來進行直播，視頻包含了圖像、聲音、文字等重要元素，圖文聲三者合一，效果極佳，逐漸成為互聯網的主流方式。視頻通過真實、生動的直播，營造出強烈的現場感，吸引眼球，達成印象深刻、記憶持久的傳播效果，能夠真實、直觀、快速、全面、展示自己一個完整的流媒體平臺。Lag網站目錄_網站網址收錄與提交入口

　　視頻直播，主要涉及到采集、預處理、編碼、傳輸、服務器轉碼、解碼這樣一個流程。Lag網站目錄_網站網址收錄與提交入口

Lag網站目錄_網站網址收錄與提交入口

　　一、視頻采集：通過視頻采集卡或編碼器進行圖像采集和音頻采集;Lag網站目錄_網站網址收錄與提交入口

　　圖像采集設置攝像頭、攝像機，并配置采集的參數、圖像數據的長寬、fps、輸出的方向、橫屏豎屏等，然后從回調中取到數據。Lag網站目錄_網站網址收錄與提交入口

音頻采集和編碼主要面臨的挑戰在于：噪聲消除、回聲消除等。Lag網站目錄_網站網址收錄與提交入口

　　前期不需要音頻數據處理需求的時候，只需配置音頻采集的采樣率、碼率和聲道。Lag網站目錄_網站網址收錄與提交入口

　　二、預處理：分為音頻處理和視頻處理兩個方面。Lag網站目錄_網站網址收錄與提交入口

　　音頻處理是直播難點之一，直播環境會有噪音，所以直播的音頻處理是整體降噪的過程。增益降噪等處理可直接從項目中抽出來的聲音處理代碼，然后調用、處理。如有類似在直播的時候播放背景音樂的混音需求，就需要實現音頻數據的混音，而還需要將混音的背景音樂轉成PCM數據，拷貝一份送入混音，原來的數據送入播放器。Lag網站目錄_網站網址收錄與提交入口

　　濾鏡、美顏功能是直播標配，如果需要美白、水印、裁剪等處理效果，還要考慮到拿到的數據是YUV還是RGB。通過軟件進行采集和美白、水印、裁剪的處理，然后取出來進行編碼上傳，并顯示在預覽畫面上。Lag網站目錄_網站網址收錄與提交入口

　　三、編碼：Lag網站目錄_網站網址收錄與提交入口

　　編碼:現在廣泛采用FFmpeg庫結合編碼庫來實現，FFmpeg+x264來編碼視頻數據YUV/RGB輸出H264數據，FFmpeg+fdk_aac來編碼音頻數據PCM輸出AAC數據。Lag網站目錄_網站網址收錄與提交入口

　　四、傳輸：采用FFMPEG進行數據的接收，推流端默認使用FFMPEG進行數據的封包發送。Lag網站目錄_網站網址收錄與提交入口

　　相對來說，封包最主要注意的一個點是時間戳。字面上可以理解，就是解碼時間和顯示時間，在沒有B幀存在的情況下DTS的順序和PTS的順序應該是一樣的。這塊還涉及到重連和丟幀，用戶的網絡情況波動斷開了,會進行重連。重連失敗之后才會發送失敗回調。丟幀是一個弱網情況的策略，根據音視頻數據的緩沖區大小來判斷是否丟幀,丟幀會優先丟非關鍵幀，保留關鍵幀，而一旦需要丟關鍵幀的時，關鍵幀后的非關鍵幀也會一起丟掉直到下一個關鍵幀，來保證畫面不會花屏。Lag網站目錄_網站網址收錄與提交入口

　　五、服務端Lag網站目錄_網站網址收錄與提交入口

　　現在主流的兩種推送協議是RTMP和HLSLag網站目錄_網站網址收錄與提交入口

　　六、播放器Lag網站目錄_網站網址收錄與提交入口

　　播放器主要負責拉流、解碼、播放。Lag網站目錄_網站網址收錄與提交入口

　　1.解析協議Lag網站目錄_網站網址收錄與提交入口

　　播放器端根據URL解析所用的流媒體協議(RTMP，HLS)。Lag網站目錄_網站網址收錄與提交入口

　　2.解封裝Lag網站目錄_網站網址收錄與提交入口

　　解封裝，從容器格式(FLV，TS)中，分離出音視頻數據。Lag網站目錄_網站網址收錄與提交入口

　　3.解碼Lag網站目錄_網站網址收錄與提交入口

　　解碼，就是把獲取到的數據解壓縮，恢復成原始數據。解碼就是將H264變成YUV，AAC變成PCM。解碼可以使用軟解碼，硬解碼。Lag網站目錄_網站網址收錄與提交入口

　　4.渲染數據Lag網站目錄_網站網址收錄與提交入口

　　采用OpenGL渲染YUV數據，呈現視頻畫面。將PCM送入設備的硬件資源播放，產生聲音。Lag網站目錄_網站網址收錄與提交入口

此文由 網站目錄_網站網址收錄與提交入口 編輯，未經允許不得轉載！：