一、直播的技術(shù)架構(gòu)：

直播視頻采集SDK（PC/IOS/Anddroid）——直播CDN

（直播流分發(fā)加速）——直播視頻播放器SDK（PC/IOS/Android）

二、音視頻處理的一般流程：

數(shù)據(jù)采集→數(shù)據(jù)編碼→數(shù)據(jù)傳輸(流媒體服務(wù)器) →解碼數(shù)據(jù)→播放顯示

1、數(shù)據(jù)采集：

攝像機及拾音器收集視頻及音頻數(shù)據(jù)，此時得到的為原始數(shù)據(jù)

涉及技術(shù)或協(xié)議：

攝像機：CCD、CMOS

拾音器：聲電轉(zhuǎn)換裝置（咪頭）、音頻放大電路

2、數(shù)據(jù)編碼：

使用相關(guān)硬件或軟件對音視頻原始數(shù)據(jù)進行編碼處理（數(shù)字化）及加工（如音視頻混合、打包封裝等），得到可用的音視頻數(shù)據(jù)

涉及技術(shù)或協(xié)議：

編碼方式：CBR、VBR

編碼格式

視頻：H.265、H.264、MPEG-4等，封裝容器有TS、MKV、AVI、MP4等

3、數(shù)據(jù)傳輸：

將編碼完成后的音視頻數(shù)據(jù)進行傳輸，早期的音視頻通過同軸電纜之類的線纜進行傳輸，IP網(wǎng)絡(luò)發(fā)展后，使用IP網(wǎng)絡(luò)優(yōu)傳輸

涉及技術(shù)或協(xié)議：

傳輸協(xié)議：RTP與RTCP、RTSP、RTMP、HTTP、HLS（HTTP Live

控制信令：SIP和SDP、SNMP等

4、解碼數(shù)據(jù)：

使用相關(guān)硬件或軟件對接收到的編碼后的音視頻數(shù)據(jù)進行解碼，得到可以直接顯示的圖像/聲音

涉及技術(shù)或協(xié)議：

一般對應(yīng)的編碼器都會帶有相應(yīng)的解碼器，也有一些第三方解碼插件等

5、播放顯示：

在顯示器（電視、監(jiān)視屏等）或揚聲器（耳機、喇叭等）里，顯示相應(yīng)的圖像畫面或聲音

涉及技術(shù)或協(xié)議：

顯示器、揚聲器、3D眼鏡等

三、常見的視頻直播相關(guān)協(xié)議：

1、RTMP(Real

RTMP是Adobe Systems公司為Flash播放器和服務(wù)器之間音頻、視頻和數(shù)據(jù)傳輸開發(fā)的開放協(xié)議。它有三種變種：

1）、工作在TCP之上的明文協(xié)議，使用端口1935；

2）、RTMPT封裝在HTTP請求之中，可穿越防火墻；

3）、RTMPS類似RTMPT，但使用的是HTTPS連接；

RTMP協(xié)議是被Flash用于對象、視頻、音頻的傳輸。這個協(xié)議建立在TCP協(xié)議或者輪詢HTTP協(xié)議之上。RTMP協(xié)議就像一個用來裝數(shù)據(jù)包的容器，這些數(shù)據(jù)既可以是AMF格式的數(shù)據(jù)，也可以是FLV中的視音頻數(shù)據(jù)。一個單一的連接可以通過不同的通道傳輸多路網(wǎng)絡(luò)流，這些通道中的包都是按照固定大小的包傳輸?shù)摹?/p>

2、RTSP(Real

RTSP定義了一對多應(yīng)用程序如何有效地通過IP網(wǎng)絡(luò)傳送多媒體數(shù)據(jù)。RTSP提供了一個可擴展框架，數(shù)據(jù)源可以包括實時數(shù)據(jù)與已有的存儲的數(shù)據(jù)。該協(xié)議目的在于控制多個數(shù)據(jù)發(fā)送連接，為選擇發(fā)送通道如UDP、組播UDP與TCP提供途徑，并為選擇基于RTP上發(fā)送機制提供方法。

RTSP語法和運作跟HTTP/1.1類似，但并不特別強調(diào)時間同步，所以比較能容忍網(wǎng)絡(luò)延遲。代理服務(wù)器的緩存功能也同樣適用于RTSP，并且因為RTSP具有重新導(dǎo)向功能，可根據(jù)實際負載情況來切換提供服務(wù)的服務(wù)器，以避免過大的負載集中于同一服務(wù)器而造成延遲。

3、RTP(Real-time

RTP是針對多媒體數(shù)據(jù)流的一種傳輸層協(xié)議，詳細說明了在互聯(lián)網(wǎng)上傳遞音頻和視頻的標(biāo)準(zhǔn)數(shù)據(jù)包格式。RTP協(xié)議常用于流媒體系統(tǒng)（配合RTCP協(xié)議），視頻會議和一鍵通系統(tǒng)（配合H.323或SIP），使它成為IP電話產(chǎn)業(yè)的技術(shù)基礎(chǔ)。

RTP是建立在UDP協(xié)議上的，常與RTCP一起使用，其本身并沒有提供按時發(fā)送機制或其它服務(wù)質(zhì)量（QoS）保證，它依賴于低層服務(wù)去實現(xiàn)這一過程。

RTP 并不保證傳送或防止無序傳送，也不確定底層網(wǎng)絡(luò)的可靠性，只管發(fā)送，不管傳輸是否丟包，也不管接收方是否有收到包。RTP 實行有序傳送，RTP中的序列號允許接收方重組發(fā)送方的包序列，同時序列號也能用于決定適當(dāng)?shù)陌恢?，如?span style="color: green;">視頻解碼中，就不需要順序解碼。

4、RTCP(Real-time

RTCP是RTP的配套協(xié)議，為RTP媒體流提供信道外的控制。RTCP和RTP一起協(xié)作將多媒體數(shù)據(jù)打包和發(fā)送，定期在多媒體流會話參與者之間傳輸控制數(shù)據(jù)。

RTCP的主要功能是為RTP所提供的服務(wù)質(zhì)量（QoS）提供反饋，收集相關(guān)媒體連接的統(tǒng)計信息，例如傳輸字節(jié)數(shù)，傳輸分組數(shù)，丟失分組數(shù)，單向和雙向網(wǎng)絡(luò)延遲等等。網(wǎng)絡(luò)應(yīng)用程序可以利用RTCP所提供的信息來提高服務(wù)質(zhì)量，比如限制流量或改用壓縮比小的編解碼器。