即时通讯音视频开发解决方案doc.docx
- 文档编号:6748067
- 上传时间:2023-01-09
- 格式:DOCX
- 页数:6
- 大小:21.09KB
即时通讯音视频开发解决方案doc.docx
《即时通讯音视频开发解决方案doc.docx》由会员分享,可在线阅读,更多相关《即时通讯音视频开发解决方案doc.docx(6页珍藏版)》请在冰豆网上搜索。
即时通讯音视频开发解决方案doc
即时通讯-音视频开发解决方案
AnyChatAnyChat音视频应用解决方案音视频应用解决方案广州佰锐网络科技有限公司AnyChat音视频应用解决方案佰锐科技版权所有2目录目录一、产品介绍一、产品介绍4二、二、AnyChatAnyChat核心功能核心功能.41.实时音视频交互42.跨平台互联互通53.回音消除、噪音抑制54.P2P技术65.文件传输66.数据通信67.网络服务质量(Qos).78.双机热备79.分层架构设计710.开放接口.811.安全、可靠.812.音视频录制、拍照.813.服务器录制.814.IP组播.815.文字聊天.916.外部音视频输入.9三、三、AnyChatAnyChat技术特点技术特点.91.先进的视频编码技术—H.264.92.优化的音频编码技术—AAC.103.复杂网络环境的服务质量—QoS.104.动态扩容与负载均衡115.特定网络环境下的利器—IP组播116.P2P通信技术117.跨平台的解决方案128.开放的接口129.全景录像.1310.全方位的安全保障机制14四四..AnyChatAnyChat系统架构系统架构151.拓扑结构图152.AnyChat软硬件配置参考.16五、五、AnyChatAnyChat技术指标技术指标17六、行业对比六、行业对比.181.支持P2P技术.182.低带宽占用183.支持高并发18AnyChat音视频应用解决方案佰锐科技版权所有34.可扩展性.195.高安全性.19AnyChat音视频应用解决方案佰锐科技版权所有4一一、产品介绍、产品介绍“AnyChat即时通讯平台”是一套跨平台的即时通讯解决方案,基于先进的H.264视频编码标准、AAC音频编码标准与P2P技术,支持高清视频,整合了佰锐科技在音视频编码、多媒体通讯领域领先的开发技术和丰富的产品经验而设计的高质量、宽适应性、分布式、模块化的网络音视频互动平台。
“AnyChat即时通讯平台”包含了音视频处理模块(采集、编解码)、流媒体管理模块(丢包重传、抖动平滑、动态缓冲)、流媒体播放模块(多路混音、音视频同步)以及P2P网络模块(NAT穿透、UPnP支持、IP组播支持)等多个子模块,封装了底层的硬件操作(音视频采集、播放)、封装了流媒体处理(编解码、网络传输)等非常专业和复杂的技术,为上层应用提供简单的API控制接口,可以在极短的开发周期,以及极少的人力资源投入下为客户的现有平台增加音视频即时通讯、多方会议的功能。
“AnyChat即时通讯平台”分为客户端SDK和服务器SDK两大部分,其中客户端SDK用于实现语音、视频的交互以及其它客户端相关的功能,而服务器SDK主要实现业务层逻辑控制,以及与第三方平台的互联等。
客户端SDK和服务器SDK均支持C++、C#、VB.Net以及Delphi等开发语言。
通过“AnyChat即时通讯平台”,可以开发具有企业特色的即时通讯系统、视频游戏系统、视频会议系统、网络教学系统、语音视频聊天系统、专家咨询平台以及政府应急指挥平台等,系统的功能、界面完全由企业定制。
AnyChat是国内知名音视频互动开发平台,经过长达九年之久的广泛应用和复杂化环境的检测,AnyChatSDK系统在兼容性、安全性、稳定性、易用性方面具有较高的声誉。
AnyChat是佰锐科技全力打造的核心产品。
二、二、AnyChatAnyChat核心功能核心功能1.实时音视频交互实时音视频交互“AnyChat即时通讯平台”支持“一对一”、“一对多”以及“多对多”等多AnyChat音视频应用解决方案佰锐科技版权所有5种模式的音频、视频交互。
在交互过程中,上层应用可以控制只传音频,或只传视频,或是音视频同时传输。
音频数据流由内核自动播放,上层应用通过简单的API调用即可实现双方的语音交流,当有多路音频需要播放时,内核会自动进行混音处理。
同时也可以通过回调将原始的音频数据(PCM)回调给上层应用。
视频数据流由内核解码后,可由内核自动显示(WIN32平台需要预先设定显示窗口句柄,ANDROID平台需要预先设定显示的SURFACE),也可以通过回调的方式,将原始的视频数据(YUV、RGB)回调给上层应用,由上层应用来显示视频。
音视频数据走UDP通道传输,优先P2P通道,当两个用户之间的P2P通道不通时,将会通过服务器转发。
2.跨平台互联互通跨平台互联互通AnyChat支持跨平台的应用,服务器支持Windows、Linux、Unix等所有主流服务器操作系统,客户端目前支持Windows、Linux(x86、ARM)、Android以及iOS(iPhone、iPad)平台等,目前正在研发WinPhone8等平台。
AnyChat的跨平台特性,为客户提供了广阔的应用空间,如实现Windows桌面用户的语音视频交互的同时,还可以定制嵌入式硬件解决方案,实现嵌入式硬件与Windows桌面应用的互联互通,在部队远程指挥、政府应急系统、数字化家庭、移动视频监控、专家咨询、在线客服、呼叫中心以及移动音视频采集等领域有广泛的应用空间。
3.回音消除、噪音抑制回音消除、噪音抑制优化的音频信号处理算法,消除环境噪音和回声,实现全双工顺畅沟通。
AnyChat的噪音抑制技术原理是将实时采样的数字信号进行频谱分析,这样我们就能分析背景噪声响应的强度和频谱分布,然后根据这个模型就能设计一个滤波器,当有人讲话的时候,同时做信号分析,根据分析,ANC就能分析出AnyChat音视频应用解决方案佰锐科技版权所有6讲话者的频谱,那么根据这些背景噪音和讲话者的频谱,这个滤波器根据两个信号的对比实时的改变,让讲话者声音频谱通过,对背景噪声的频谱进行抑制,降低其能量,比如说降低15到以来在P2P技术领域积累的丰富经验是穿透成功率的保障。
7.跨平台的解决方案跨平台的解决方案“AnyChat即时通讯平台”支持跨平台的应用,服务器支持Windows、Linux、Unix等所有主流服务器操作系统,客户端目前支持Windows、Linux、Android、Web、iOS等平台,目前正在做WP7平台的移植。
AnyChat的跨平台特性,为客户提供了广阔的应用空间,如实现Windows桌面用户的语音视频交互的同时,还可以定制嵌入式硬件解决方案,实现嵌入式硬件与Windows桌面应用的互联互通,在部队远程指挥、政府应急系统、数字化家庭、移动视频监控以及移动音视频采集等领域有广泛的应用空间。
8.开放的接口开放的接口“AnyChat即时通讯平台”分为客户端SDK(AnyChatPlatCoreSDK)和服务器端SDK(AnyChatServerSDK)两大部分,其中客户端SDK用于实现语音、视频的交互以及其它客户端相关的功能,而服务器SDK主要实现业务层逻辑控制,以及与第三方平台的互联等。
客户端SDK和服务器SDK均支持C++、C#、VB.Net以及Delphi等开发语言。
“AnyChat即时通讯平台”采用模块化技术体系,良好的平台兼容性与可扩展性,丰富的API函数,为上层应用提供了开放的应用接口。
AnyChat音视频应用解决方案佰锐科技版权所有139.全景录像全景录像音视频录制是音视频解决方案中最重要的功能特性之一,特别是一些行业应用中音视频录制是最基本的功能需求,AnyChat作为业界一流的跨平台音视频解决方案,在音视频录制方面也提供了非常完善的整体解决方案。
可针对单个用户的音频、视频进行录制,也可针对通话双方的音频、视频合成录制,支持画中画、并列模式等多种合成方式,可以自定义录制参数,包括录制码率、视频分辩率等,录制的视频格式可自定义,支持MP4(默认)、WMV、FLV、MP3等,可以在客户端录制,也可以在中心服务器录制,可以在客户端进行音视频合成,中心服务器对合成音视频流录制,录像服务器支持高并发,客户端录制支持的平台包括:
Windows、Web、Android、iOS、Linux,服务器录制支持的平台包括:
Windows、Linux(x86、x64)提供客户端录制API、服务器录制API接口,与上层业务无缝集成。
AnyChat音视频应用解决方案佰锐科技版权所有1410.全方位的安全保障机制全方位的安全保障机制“AnyChat即时通讯平台”从设计之初就注重系统的安全保障,防止恶意用户的入侵与破坏,概括的说,“AnyChat即时通讯平台”的安全保障措施主要由如下几部分组成:
a、服务器端口可以自定义。
服务器所使用的TCP、UDP服务端口均可自定义(在服务器的.ini文件中配置),实现服务的隐藏;b、服务器与客户端之间的底层通信协议均加密传输。
防止非AnyChat客户端连接服务器,采用128bit高强度加密算法,为系统提供一道安全的屏障;c、服务器可设置连接认证密码。
防止非授权AnyChat客户端连接服务器;e、服务器内部还设置有安全检测机制,一旦检测到当前连接的客户端有非法操作嫌疑(如内部通信协议没有按既定的步骤进行)时,将会主动断开该客户端的连接,并记录该连接的IP地址,在一段时间内不允许重新连接。
f、上层应用可以使用服务器“SDKFilterPlus”编程接口或是“AnyChatAnyChat音视频应用解决方案佰锐科技版权所有15ServerSDK”实现用户身份的认证,认证过程完全开放给上层应用。
四四..AnyChatAnyChat系统架构系统架构1.拓扑结构图拓扑结构图功能说明功能说明:
:
a、中心服务器:
主要负责服务器集群的管理,负载均衡,任务调度等任务,同时还负责与业务层服务器进行交互,将”AnyChat即时通讯平台”的用户相关请求传递给业务服务器进行处理,并将处理结果反馈给对应的用户,起中间桥梁作用。
b、业务服务器:
采用“AnyChatServerSDK”开发的独立服务器,负责整个系统业务流程的管理,包括用户身份鉴权认证以及业务流的控制等,起到与第三方系统互联互通的桥梁作用。
c、房间服务器:
负责处理终端用户在房间内的相关任务请求,转发流媒体AnyChat音视频应用解决方案佰锐科技版权所有16数据,协助用户之间P2P穿透。
房间服务器可动态增、减,当新的房间服务器向中心服务器注册成功之后,中心服务器的负载均衡机制便会将部分用户的请求调用给新加入的房间服务器处理,减轻其它房间服务器的压力。
d、PC用户:
运行ANYCHAT客户端软件,提供二次开发接口(SDK),软件界面可由用户自行开发,支持多种开发语言,包括VC++、Delphi、VB.Net、C#等,封装为ActiveX插件之后可以集成到IE浏览器进行访问。
e、移动智能终端用户:
目前支持嵌入式Linux、Android、Mobile等平台,提供二次开发接口(SDK),实现跨平台访问,同时可与硬件平台紧密结合,实现硬件的编码、解码(需要根据具体的硬件进行定制开发),默认采用软件方式进行编码与解码。
2.AnyChat软硬件配置参考软硬件配置参考在整个平台中转换服务器与流媒体服务器的负载最大,需要配置较高性能的服务器,而中心服务器与业务服务器主要是管理,或是任务调度等,没有大量的计算工作,所以配置没有特殊的要求,下面的软硬件配置仅供参考,在实际项目实施的过程中可根据整个系统的负载容量来确定实际的配置参数。
中心服务器、房间服务器均支持Win32、Linux等平台,可根据实际情况进行部署,业务服务器需要定制开发,所运行的软件平台需要综合考虑多种因素方能确定。
推荐硬件配置如下:
CPU:
IntelE55062.13GHz/8M四核RAM:
DDR3RDIMM4GHD:
SAS146GB(10KRPM)网卡:
2x1000M以太网卡显卡:
标配AnyChat音视频应用解决方案佰锐科技版权所有17五、五、AnyChatAnyChat技术指标技术指标项目列表项目列表技术参数技术参数视频编码器视频编码器H.264AVC视频分辨率视频分辨率(*)(*)160×120—1280×1024(可动态调节)视频帧率视频帧率1—30fps(可动态调节)音频编码器音频编码器AAC、AMR-WB、SPEEX、CELT音频采样率音频采样率8000Hz~44100Hz音频采样声道音频采样声道Mono、Stereo目标码率目标码率音频:
8kbps–128kbps(可动态调节)视频:
10kbps–10Mkbps(可动态调节)P2PP2PUDPoverNAT、TCPoverNATUPnP传输协议传输协议RTP/RTCP(RFC3550/3551(IETFSIDD0064/0065)RTSP(RFC2326)语音增强处理语音增强处理回音消除(AEC)噪音抑制(NS)自动增益(AGC)静音检测(VAD)支持的操作系统支持的操作系统Windows98/2K/XP/Vista,Windows7,Windows8LinuxWebAndroidios音视频延迟指标音视频延迟指标(*)(*)网络状态较好时(无丢包,网络延迟10ms)):
100ms网络状态一般时(无丢包,网络延迟50ms):
=100ms网络状态较差时(丢包率=5%,网络延迟100ms):
=250ms网络状态很差时(丢包率=20%,网络延迟500ms):
=1100msAnyChat音视频应用解决方案佰锐科技版权所有18房间最大并发用户数房间最大并发用户数800用户/房间房间服务器最高并发房间服务器最高并发核心服务器最高并发P2PP2P连接成功率连接成功率(*)(*)局域网:
100%互联网:
≥82%*音视频相关参数与硬件相关;*音视频延迟指标为发言模式下的测试值,如采用放歌模式,则内核为了保障播放的流畅性,会适当增加缓冲区大小,导致延迟增大;*P2P连接成功率为综合网络测试平均值。
六、六、行业对比行业对比AnyChat与Adobe公司的Flash解决方案进行对比。
1.支持支持P2P技术技术AnyChat支持P2P技术,在视频通话时语音视频流优先P2P传输,即当两个客户端之间的P2P通道可用时,语音视频流直接通过P2P通道传输,不经过中心服务器,不占用中心服务器的带宽资源。
当P2P不通时才经过服务器转发,保障音视频应用的正常通信。
Flash不支持P2P技术,所有语音视频流数据均需要通过服务器转发,需要占用大量的中心服务器带宽资源。
2.低带宽占用低带宽占用AnyChat单路(语音+视频)最低带宽为150kbps,而Flash单路最低带宽为300kbps,所以在同等条件于,AnyChat更节省带宽资源,对客户端或是中心端的网络要求更低,适应性更广。
AnyChat音视频应用解决方案佰锐科技版权所有193.支持高并发支持高并发使用AnyChat解决方案,单台普通的双核服务器(100M独享带宽)可支撑高达5000用户的并发,系统的资源占用仍处于较低的水平。
主要是因为AnyChat支持P2P技术,同时内核采用C++语言开发,并有针对性的采用线程池、内存池等技术对系统资源的占用进行优化。
AnyChat解决方案在视频游戏、视频聊天室等领域有较多的应用,对高并发数据的处理有独到的处理方案。
同时可提供详细的压力测试报告,以及压力测试现场视频录像等相关资料。
根据实际使用的数据统计,Flash解决方案单台服务器最高支持400并发,且满负荷运行时系统资源占用较高,而且同等条件下Flash解决方案实现5000并发需要1.6G的网络带宽,而AnyChat仅需要100M。
4.可扩展性可扩展性AnyChat在体系架构上采用模块化设计,将音视频与业务逻辑分离,在后台开放API接口适合进行二次开发,可以进行业务逻辑的扩展,设计个性化的业务模块。
随着业务的开展,当现有的API接口不能满足今后的应用需求时,AnyChat可以进行API接口定制来满足更复杂的业务场景。
Flash是Adobe公司封装的独立产品,后台的业务扩展性较弱,且不能针对证券行业的特定需求进行API接口定制。
5.高安全性高安全性AnyChat是佰锐科技拥有完全自主知识产权的产品,在目前国家重点关注网络信息安全的大环境下,AnyChat解决方案更适合证券行业应用,Flash的安全漏洞更容易被恶意利用。
而且更重要的一点,AnyChat开放了音视频数据进行加密、解密的API接口,AnyChat音视频应用解决方案佰锐科技版权所有20在有必要时,上层应用可以单独对音视频数据进行加解密,而且加解密算法由上层应用自主控制,这是Flash不能实现的特性。
综合来说,相比于Adobe公司的Flash解决方案,AnyChat更适合于金融行业的视频见证、远程开户等应用场景,特别是在高并发情况下,可以显著的降低系统的网络带宽占用,节约运营成本,后续业务扩展更有保障,而且安全性更高。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 即时通讯 视频 开发 解决方案 doc