即时通讯手机音视频技术开发方案

浏览数：24 / 时间：2015年06月11日

“SDK即时通讯平台”是一套跨平台的即时通讯解决方案，基于先进的H.264视频编码标准、AAC音频编码标准与P2P技术，支持高清视频，整合了佰锐科技在音视频编码、多媒体通讯领域领先的开发技术和丰富的产品经验而设计的高质量、宽适应性、分布式、模块化的网络音视频互动平台。

“SDK即时通讯平台”包含了音视频处理模块（采集、编解码）、流媒体管理模块（丢包重传、抖动平滑、动态缓冲）、流媒体播放模块（多路混音、音视频同步）以及P2P网络模块（NAT穿透、UPnP支持、IP组播支持）等多个子模块，封装了底层的硬件操作（音视频采集、播放）、封装了流媒体处理（编解码、网络传输）等非常专业和复杂的技术，为上层应用提供简单的API控制接口，可以在极短的开发周期，以及极少的人力资源投入下为客户的现有平台增加音视频即时通讯、多方会议的功能。

“SDK即时通讯平台”分为客户端SDK和服务器SDK两大部分，其中客户端SDK用于实现语音、视频的交互以及其它客户端相关的功能，而服务器SDK主要实现业务层逻辑控制，以及与第三方平台的互联等。客户端SDK和服务器SDK均支持C++、C#、VB.Net以及Delphi等开发语言。

通过“SDK即时通讯平台”，可以开发具有企业特色的即时通讯系统、视频游戏系统、视频会议系统、网络教学系统、语音视频聊天系统、专家咨询平台以及政府应急指挥平台等，系统的功能、界面完全由企业定制。

AnyChat是国内知名音视频互动开发平台，经过长达九年之久的广泛应用和复杂化环境的检测， SDK系统在兼容性、安全性、稳定性、易用性方面具有较高的声誉。该SDK是佰锐科技全力打造的核心产品.

SDK手机视频开发包是面向集成或软件开发商使用，用于开展手机视频相关的产品开发和系统集成。

开发包提供手机端音视频采集、编码、压缩、音视频传输等功能；通过与后端服务器对接，优先P2P通讯，实现手机视频即拍即传、手机视频直播，手机视频录制和手机视频通话。

当前手机视频SDK开发包支持iOS和Android平台。

. 提供手机视频采集直播的开发接口

通过视频参数设置接口，设置拍摄视频的分辨率、编码方式、码流、媒体流类别等

通过视频拍摄，实现视频的采集，编码和传输

· 提供语音、文字通讯接口

· 提供视频录制接口，包括本地视频录制

· 提供文件传输接口

. 支持跨平台通讯，可与windows，web ，Linux完美互联互通

· 提供透明通道，实现特殊功能

一、拓扑结构图：

拓扑名词解析：

（ 1）、中心服务器：主要负责服务器集群的管理，负载均衡，任务调度等任务，同时还负责与业务层服务器进行交互，将"AnyChat 即时通讯平台"的用户相关请求传递给业务服务器进行处理，并将处理结果反馈给对应的用户，起中间桥梁作用。
（ 2）、业务服务器：采用"AnyChat Server SDK"开发的独立服务器，负责整个系统业务流程的管理，包括用户身份鉴权认证以及业务流的控制等，起到与第三方系统互联互通的桥梁作用。
（ 3）、房间服务器：负责处理终端用户在房间内的相关任务请求，转发流媒体数据，协助用户之间 P2P 穿透。房间服务器可动态增、减，当新的房间服务器向中心服务器注册成功之后，中心服务器的负载均衡机制便会将部分用户的请求调用给新加入的房间服务器处理，减轻其它房间服务器的压力。

（ 4）、PC 用户：运行 ANYCHAT 客户端软件，提供二次开发接口（SDK），软件界面可由用户自行开发，支持多种开发语言，包括 Java、VC++、Delphi、VB.Net、C#等，封装为 ActiveX 插件之后可以集成到 IE 浏览器进行访问。

（ 5）、移动智能终端用户：目前支持嵌入式 Linux、Android、IOS 等平台，提供二次开发接口（SDK），实现跨平台访问，同时可与硬件平台紧密结合，实现硬件的编码、解码（需要根据具体的硬件进行定制开发），默认采用软件方式进行编码与解码。

二、相关技术指标：

视频编码器 H.264 AVC
视频分辨率(*) 160×120 — 1280×1024（可动态调节）
视频帧率 1 — 30 fps（可动态调节）
音频编码器 AAC、AMR-WB、SPEEX、CELT
音频采样率 8000 Hz ～ 44100 Hz
音频采样声道       Mono、Stereo
目标码率          音频：8kbps - 128kbps （可动态调节）
视频：10kbps - 10Mkbps（可动态调节）

P2P UDP over NAT、TCP over NAT

UPnP

传输协议 RTP/RTCP(RFC 3550/3551 (IETF SIDD0064/0065)

RTSP(RFC2326)
语音增强处理        回音消除（AEC）
噪音抑制（NS）
  自动增益（AGC）
静音检测（VAD）
支持的操作系统       Windows2003/2008/XP/Win 7,win 8 等兼容32bit、64bit

  Linux Ubuntu、RedHat、CentOS等，兼容32bit、64bit
Android 2.x/4.x/5.x 等
IOS5.x/6.x/7.x/8.x 等
音视频延迟指标(*)          网络状态较好时（无丢包，网络延迟<10ms）：<100ms
网络状态一般时（无丢包，网络延迟<50ms）：<=100ms
网络状态较差时（丢包率<=5%，网络延迟<100ms）：<=250ms
  网络状态很差时（丢包率<=20%，网络延迟<500ms）：<=1100ms
中心服务器集群管理能力         >=2048 台

房间最大并发用户数         800 用户/房间
房间服务器最高并发         5000 用户/服器
P2P 连接成功率(*)   局域网：100%
互联网：>=82%

* 音视频相关参数与硬件相关；
* 音视频延迟指标为发言模式下的测试值，如采用放歌模式，则内核为了保障播放的流畅性，会适当增加缓冲区大小，导致延迟增大；
* P2P 连接成功率为综合网络测试平均值