什么是 叁體視頻SDK？

叁體的核心產品是叁體視頻SDK，也就是Open Audio+Video+Data，一個開放的音頻、視頻與數據通訊能力平臺。叁體視頻SDK提供了實時音視頻、音視頻錄制，視頻直播、屏幕分享、白板批注等能力，支持包括Andorid/ios手機平板，Windows PC，Mac電腦，機頂盒，智能電視等各種設備與平臺。

叁體的客戶是各種軟硬件開發類公司，叁體 SDK可以嵌入移動App，Web應用及各種智能硬件中，幫助這些開發公司實現視頻通訊等功能，可廣泛應用于遠程醫療、遠程教育等幾十個領域

叁體視頻SDK的直接用戶，主要是軟件工程師，他們會利用叁體視頻SDK提供的各種API/SDK開發各種行業應用系統，從這個意義上講，我們做的是一種所謂B2D（Business to Developer）業務，也是一種開發者服務業務。

叁體視頻SDK目前主要以軟件形式銷售，由第三方團隊自己運維音視頻服務環境。未來，叁體將在公網上開放相關功能的API/SDK，以所謂PaaS（Platform as a Service）形式提供服務，客戶以租用的方式使用叁體視頻SDK提供的各種能力。

以下為叁體視頻SDK的主要功能：

功能	典型使用場景
實時音頻	幾乎所有通訊協作應用，包括智能硬件
實時視頻	幾乎所有通訊協作應用，包括智能硬件
文字聊天	遠程教育，遠程醫療，網絡會議，社交
屏幕分享	遠程教育，遠程醫療，網絡會議
電子白板	遠程教育，遠程醫療，網絡會議
批注	遠程教育，遠程醫療，網絡會議
音視頻錄制	遠程教育，遠程醫療，網絡會議，安防
視頻直播	遠程教育，社交

使用方式

如上圖所示，一個使用了叁體視頻SDK的第三方行業應用，主要由兩部分組成，分別是叁體視頻SDK相關組件（綠色）及行業應用自身特定功能組件（藍色）。

叁體視頻SDK本身，也是由兩部分組成，一是嵌入在各種業務應用客戶端中的SDK代碼，二是叁體通訊服務器。SDK代碼與服務器代碼通過網絡（公有云、私有云）連接，交換音視頻及其它數據，從而完成相關功能。

行業應用的開發人員在需要使用音視頻通訊能力的時候，簡單地調用叁體 SDK中提供的各種接口即可，不必再花精力去搞懂音視頻通訊過程需要用到的非常復雜的技術細節，如音視頻采集、壓縮、傳輸及渲染等等。

行業應用自身與音視頻通訊無關的功能，則完全由行業應用開發工程師根據需要自己開發，相關數據傳輸、存儲也完全由行業應用業務服務器自己來處理，與叁體視頻SKD沒有關系。

特點優勢

叁體視頻SDK具務以下特點與優勢：

參數指標

1.支持的設備

支持的設備	支持方式	接口語言
iPhone,iPad	原生iOS本地客戶端	Objective -C
Android Phone，Android Pad	原生Android本地客戶端	Java
	WebRTC兼容瀏覽器，如chrome/firefox	Javascript
Windows PC	原生Windows本地客戶端	C++
	WebRTC兼容瀏覽器	Javascript
Mac PC	WebRTC兼容瀏覽器，如Chrome/firefox	Javascript
Linux PC	WebRTC兼容瀏覽器，如Chrome/firefox	Javascript
機頂盒	Android本地客戶端	Java目前主流的機頂盒都基于Android開發
嵌入式Linux設備，如攝像頭等等	原生C本地程序	C
智能硬件，如機器人	原生Android本地客戶端	Java

2.支持的操作系統/平臺

支持平臺	備注
iOS	手機、平板
Android
Windows	Windows桌面專用工控機
嵌入式Linux	一些硬件設備，如攝像頭
WebRTC兼容瀏覽器	5年WebRTC方向技術積累，國內首家支持

3.重要技術參數與指標表

類別	項	值	備注
音視頻	唇音同步時差	<100毫秒	唇音完全同步，完美用戶體驗
	音頻優先	支持	在網絡不好情況下優先保障聲音的質量
視頻	視頻路數	1-16	取決于視頻規格、客戶端運算能力及網絡環境，建議移動端不超過3路，桌面端不超過8路
	視頻規格	"176*144 320*240 352*288 640*480 720*576 1280*720 1920*1080"
	視頻編解碼	"VP8/VP9 H.264"
	硬件編解碼	支持	H.264硬編解碼
	動態分辨率調整	支持	可根據網絡情況和CPU能力，動態調整視頻發送端的分辨率，從而保證在網絡情況不佳或CPU性能不好的時候，保持視頻的流暢度
	多層編碼	支持	可根據不同的客戶端，選擇不同規格的視頻發送
音頻	音頻路數	無限制
	音頻編解碼	iSac iLBC
	回聲消除	支持	優秀，筆記本外放無回聲
	噪聲消除	支持	優秀，電話音質
	自動增益控制	支持
服務器	P2P與MCU	支持
	MCU級聯	支持
	負載均衡	支持
	水平延展	支持
	分布式集群	支持	客戶端可就近連接最快最穩定的服務器集群，保證極致的用戶體驗，在跨境協同溝通應用如遠程會診中，意義重大。
安全	傳輸安全協議	DTLS
	數據加密算法	AES
網絡	防火墻穿越	支持	自動穿透所有防火墻及代理服務器
	接入方式	有線網絡、Wifi、3G/4G
	端口開放要求	80/443
	抗丟包率	30%	在30%網絡丟包情況下，仍能保持音視頻質量
其它	支持平臺	所有瀏覽器、iOS/Android、Windows/Mac/Linux	HTML5/WebRTC兼容瀏覽器，不用下載，其它瀏覽器可下載插件及本地客戶端來支持
	支持設備	PC/Mac桌面系統、iPhone/iPad、Android設備、機頂盒，智能電視、各種嵌入式Liunx設備
	H.323	支持
	SIP	支持
	RTMP	支持
	RTSP	支持

術語表

術語	術語解釋	備注
SDK	英文Software Development Kit的縮寫，其含義是軟件開發工具包，通常是一個軟件公司提供給其它開發公司的工具集合，其它公司可以在SDK基礎上做開發。	SDK的典型例子有科大訊飛的語音識別SDK，也有叁體的視頻通訊SDK。
音頻優先	實時音視頻通訊過程中，會有大量聲音與視頻數據需要傳輸，而視頻的數據量遠大于音頻，而從溝通效果來說，保證音頻數據的傳輸遠比視頻重要。所以，在網絡狀況不良（比如帶寬受限）的時候，需要采取特殊的技術，可以對視頻數據進行丟棄處理，以優先保證聲音數據的傳輸，這就是所謂音頻優先。	音頻優先會帶來辰音同步問題需要解決
唇音同步	由于實時音視頻傳輸過程中，聲音與視頻數據是由不同的通道來傳輸的，需要采取專門的技術來保持聲音與視頻之間的同步性，從效果上來說，需要保持說話時的嘴唇動作和聲音的一致性。	叁體的唇音同步時差小于100毫秒，遠遠優于市場上一些做網絡會議的公司，是贏得類似大華這種大客戶的關鍵
回聲消除	"聲音在播放過程中，由于場地環境等因素，揚聲器傳出的聲音，會從嘜克風傳回系統，從聲音聽起來有類似山谷里回聲現象，影響收聽效果，嚴重的時候，會形成“嘯叫”，完全聽不清楚。 回聲消除就是采取各種手段降低乃至避免回聲的技術，是聲音處理的關鍵技術，直接關乎音頻通訊的質量。"	叁體的回聲消除技術業內遙遙領先，筆記本外放，完全無回聲。
iLBC	Internet Low Bitrate Codec，互聯網低碼率編解碼，是一種開源的窄帶寬話音編解碼技術，由WebRTC原生支持的音頻技術，專門為互聯網環境設計，配合相關音頻引擎，在較差的網絡條件下仍能保持較好的音質。
iSAC	Internet Speech Audio Codec，互聯網話音編解碼，是一種開源音頻編碼技術，由WebRTC原生支持，專為互聯網環境設計。
降噪	"聲音在傳輸處理過程中，會有各種電子噪音混入，從而影聲音質量。 降噪就是采取各種技術手段，過濾噪音。"	叁體的降噪技術業內遙遙領先，音質和電話音質不相上下。
H.264/H.265	"H.264是一種主流的視頻編碼技術，在安防等行業大量使用 H.265是脫胎于H.264的一種新的視頻編碼技術，預期2016年開始會逐漸獲得工業界應用"	作為叁體強大技術能力的一個標志，叁體同時支持這兩個系列的編碼技術，并能在同一個通訊場景（如多方會議）中，混合使用這兩種編碼。