基于智能手机的流媒体客户端研究与实现学位论文.docx
- 文档编号:27769191
- 上传时间:2023-07-04
- 格式:DOCX
- 页数:76
- 大小:546.38KB
基于智能手机的流媒体客户端研究与实现学位论文.docx
《基于智能手机的流媒体客户端研究与实现学位论文.docx》由会员分享,可在线阅读,更多相关《基于智能手机的流媒体客户端研究与实现学位论文.docx(76页珍藏版)》请在冰豆网上搜索。
基于智能手机的流媒体客户端研究与实现学位论文
硕士学位论文摘要
学科、专业:
信号与信息工程
研究方向:
语音处理与现代语音通信
题目:
基于智能手机的流媒体客户端研究与实现
英文题目:
ResearchandDevelopmentofStreamingClientforSmartPhones
主题词:
流媒体,智能手机,WindowsMobile,RTP
Keywords:
StreamingMedia,SmartPhone,WindowsMobile,RTP
毕业设计(论文)原创性声明和使用授权说明
原创性声明
本人郑重承诺:
所呈交的毕业设计(论文),是我个人在指导教师的指导下进行的研究工作及取得的成果。
尽我所知,除文中特别加以标注和致谢的地方外,不包含其他人或组织已经发表或公布过的研究成果,也不包含我为获得及其它教育机构的学位或学历而使用过的材料。
对本研究提供过帮助和做出过贡献的个人或集体,均已在文中作了明确的说明并表示了谢意。
作者签名:
日 期:
指导教师签名:
日 期:
使用授权说明
本人完全了解大学关于收集、保存、使用毕业设计(论文)的规定,即:
按照学校要求提交毕业设计(论文)的印刷本和电子版本;学校有权保存毕业设计(论文)的印刷本和电子版,并提供目录检索与阅览服务;学校可以采用影印、缩印、数字化或其它复制手段保存论文;在不以赢利为目的前提下,学校可以公布论文的部分或全部内容。
作者签名:
日 期:
学位论文原创性声明
本人郑重声明:
所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。
除了文中特别加以标注引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写的成果作品。
对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。
本人完全意识到本声明的法律后果由本人承担。
作者签名:
日期:
年月日
学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定,同意学校保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。
本人授权 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
涉密论文按学校规定处理。
作者签名:
日期:
年月日
导师签名:
日期:
年月日
注意事项
1.设计(论文)的内容包括:
1)封面(按教务处制定的标准封面格式制作)
2)原创性声明
3)中文摘要(300字左右)、关键词
4)外文摘要、关键词
5)目次页(附件不统一编入)
6)论文主体部分:
引言(或绪论)、正文、结论
7)参考文献
8)致谢
9)附录(对论文支持必要时)
2.论文字数要求:
理工类设计(论文)正文字数不少于1万字(不包括图纸、程序清单等),文科类论文正文字数不少于1.2万字。
3.附件包括:
任务书、开题报告、外文译文、译文原文(复印件)。
4.文字、图表要求:
1)文字通顺,语言流畅,书写字迹工整,打印字体及大小符合要求,无错别字,不准请他人代写
2)工程设计类题目的图纸,要求部分用尺规绘制,部分用计算机绘制,所有图纸应符合国家技术标准规范。
图表整洁,布局合理,文字注释必须使用工程字书写,不准用徒手画
3)毕业论文须用A4单面打印,论文50页以上的双面打印
4)图表应绘制于无格子的页面上
5)软件工程类课题应有程序清单,并提供电子文档
5.装订顺序
1)设计(论文)
2)附件:
按照任务书、开题报告、外文译文、译文原文(复印件)次序装订
指导教师评阅书
指导教师评价:
一、撰写(设计)过程
1、学生在论文(设计)过程中的治学态度、工作精神
□优□良□中□及格□不及格
2、学生掌握专业知识、技能的扎实程度
□优□良□中□及格□不及格
3、学生综合运用所学知识和专业技能分析和解决问题的能力
□优□良□中□及格□不及格
4、研究方法的科学性;技术线路的可行性;设计方案的合理性
□优□良□中□及格□不及格
5、完成毕业论文(设计)期间的出勤情况
□优□良□中□及格□不及格
二、论文(设计)质量
1、论文(设计)的整体结构是否符合撰写规范?
□优□良□中□及格□不及格
2、是否完成指定的论文(设计)任务(包括装订及附件)?
□优□良□中□及格□不及格
三、论文(设计)水平
1、论文(设计)的理论意义或对解决实际问题的指导意义
□优□良□中□及格□不及格
2、论文的观念是否有新意?
设计是否有创意?
□优□良□中□及格□不及格
3、论文(设计说明书)所体现的整体水平
□优□良□中□及格□不及格
建议成绩:
□优□良□中□及格□不及格
(在所选等级前的□内画“√”)
指导教师:
(签名)单位:
(盖章)
年月日
评阅教师评阅书
评阅教师评价:
一、论文(设计)质量
1、论文(设计)的整体结构是否符合撰写规范?
□优□良□中□及格□不及格
2、是否完成指定的论文(设计)任务(包括装订及附件)?
□优□良□中□及格□不及格
二、论文(设计)水平
1、论文(设计)的理论意义或对解决实际问题的指导意义
□优□良□中□及格□不及格
2、论文的观念是否有新意?
设计是否有创意?
□优□良□中□及格□不及格
3、论文(设计说明书)所体现的整体水平
□优□良□中□及格□不及格
建议成绩:
□优□良□中□及格□不及格
(在所选等级前的□内画“√”)
评阅教师:
(签名)单位:
(盖章)
年月日
教研室(或答辩小组)及教学系意见
教研室(或答辩小组)评价:
一、答辩过程
1、毕业论文(设计)的基本要点和见解的叙述情况
□优□良□中□及格□不及格
2、对答辩问题的反应、理解、表达情况
□优□良□中□及格□不及格
3、学生答辩过程中的精神状态
□优□良□中□及格□不及格
二、论文(设计)质量
1、论文(设计)的整体结构是否符合撰写规范?
□优□良□中□及格□不及格
2、是否完成指定的论文(设计)任务(包括装订及附件)?
□优□良□中□及格□不及格
三、论文(设计)水平
1、论文(设计)的理论意义或对解决实际问题的指导意义
□优□良□中□及格□不及格
2、论文的观念是否有新意?
设计是否有创意?
□优□良□中□及格□不及格
3、论文(设计说明书)所体现的整体水平
□优□良□中□及格□不及格
评定成绩:
□优□良□中□及格□不及格
教研室主任(或答辩小组组长):
(签名)
年月日
教学系意见:
系主任:
(签名)
年月日
摘要
随着智能手机性能的不断提高,越来越多基于PC的互联网应用开始延伸至移动平台,流媒体点播业务就是其中之一。
流媒体(streamingmedia)是指将一连串的媒体数据编码后,经过网络分段传输,在网络上即时传输音频,视频以供观赏的一种技术与过程,这种技术使得数据包像流水一样发送。
在流媒体诞生前,用户如果想观看影片就必须在播放前下载整个媒体文件。
流式传输可使用户观看现场直播或预存于媒体服务器上的影片,当用户在收看这些媒体时,音视频数据在传输到用户的电脑或手持设备后立即由特定程序解码并播放。
本课题设计并开发了一种基于WindowsMobile平台的移动流媒体客户端。
本文首先介绍了流媒体技术的基本概念、相关标准等;接着研究了流媒体系统中相关的编解码技术、标准及基本原理;然后研究了本课题开发所基于的WindowsMobile软件系统平台,了解了其基本框架与组件,并对课题中所使用关键组件FFmpeg解码库及SDL多媒体库进行了基本的讨论;并在此后详细描述了所设计的流媒体系统部署、基本会话过程等;最后,基于选定的方案与平台,实现了流媒体客户端软件,并详细描述了软件架构、模块功能等。
程序编写完成后在TD-SCDMA实验网络中进行了测试,获得了较好画质及流畅度的用户体验。
关键词:
流媒体,智能手机,WindowsMobile,RTP
Abstract
Asthegrowingpopularityandperformanceofsmartphones,smartphones-basedmobilemediastreamingapplicationsbecomeincreasinglypopular.Streamingmediaaremultimediathatareconstantlyreceivedby,andnormallypresentedto,anend-userwhilebeingdeliveredbyastreamingprovider.Thenamereferstothedeliverymethodofthemediumratherthantothemediumitself.Beforethebirthofstreamingmedia,videosmustbefullydownloadedbeforeend-userwanttowatchvideos.Streamingenablesuserstowatchliveorstoredvideoonthemediaserver.
ThispaperhasdesignedanddevelopedmobilestreamingmediaclientbasedonWindowsMobileplatform.First,itintroducesthebasicconceptofstreamingmediatechnologyandtherelevantindustrialstandards,etc.Thenstudythestreamingmediasystemandthemediacodectechnology,basicprinciplesandstandards.OtherthangoodstudyoftheWindowsMobileplatform,thekeycomponentssuchasFFmpegandSDLalsohavebeendiscussed.Thereafteradetaileddescriptionofsystemdeploymenthasbeenpresented.Finally,wedescribethesystemarchitectureandkeycomponents,andfocusonthedesignandimplementationofthemobilestreamingclient.AfterthetestsinTD-SCDMAenvironment,theresultsdemonstratethattheclientobtainbetterplaybackqualityanduserexperience.
KeyWords:
StreamingMedia,SmartPhone,WindowsMobile,RTP
目录
摘要I
AbstractII
目录III
第一章绪论1
1.1项目研究背景1
1.2主要的研究工作及内容安排2
第二章移动流媒体简介4
2.1流媒体技术概述4
2.2移动流媒体系统相关标准5
2.2.1实时传输协议RTP5
2.2.2会话描述协议SDP6
2.2.3实时流媒体协议RTSP6
第三章视频编解码技术综述8
3.1视频编码基本原理8
3.1.1编解码基本结构8
3.1.2压缩编码基本方法10
3.2H.264/AVC标准的主要应用与特点11
3.3H.264/AVC标准的构成12
3.3.1基本概念12
3.3.2基本分级13
第四章系统框架设计及实现14
4.1系统需求14
4.2系统方案选择15
4.3系统框架设计16
4.3.1系统组件的功能定义16
4.3.2系统组件基本交互过程17
4.3.3关键报文解析18
4.4软件开发平台介绍24
4.5第三方函数库移植25
4.5.1交叉编译25
4.5.2SDL函数库26
4.5.3FFmpeg函数库27
第五章流媒体客户端在智能手机上的实现28
5.1客户端软件框架28
5.2媒体引擎框架29
5.2.1媒体引擎结构29
5.2.2媒体引擎关键流程31
5.2.2.1点播引擎线程设计32
5.2.2.2直播引擎线程设计32
5.2.3媒体引擎状态机33
5.3播放模块详细设计33
5.3.1模块外部接口33
5.3.2音视频同步算法34
5.3.2.1基于音频时钟同步35
5.3.2.2改进的基于视频时钟的同步算法35
5.4网络代理模块详细设计37
5.4.1RTP传输设计37
5.4.2网络带宽计算38
5.5内存文件映射模块详细设计38
5.5.1内存文件映射理论基础38
5.5.2内存文件关键操作设计40
5.5.2.1读取操作40
5.5.2.2插入操作42
5.5.2.3校验数据操作44
5.6软件集成测试45
5.6.1测试环境配置45
5.6.2系统接入功能46
5.6.3DSN资源查找功能47
5.6.4点播影片播放功能48
5.6.5直播影片播放功能49
第六章结论与展望51
6.1工作总结51
6.2研究展望52
致谢53
参考文献54
攻读硕士学位期间发表的论文56
第一章绪论
1.1项目研究背景
如今,电子通信,计算机技术高速发展,新技术不断涌现,互联网得到了前所未有的普及,无线移动通信也迅速在各个领域广泛应用,成为人们生活工作中不可或缺的一部分。
两者的网络覆盖面积越来越大,骨干网、接入网的传输速率也越来越快,核心网设备及终端功能越来越强,同时终端的体积越来越小,功耗日益降低,价格大幅下降。
在其飞速发展的同时,两者也开始迅速地融合。
移动IP也逐渐走进人们的视野。
其实,从GSM蜂窝通讯系统起,移动通信系统就具有一定的数据通信能力,其主要是基于电路型数据业务,如短信服务。
但是,在数据通信的发展过程中,人们不仅希望得到简单的文字信息,更希望能够提供包括语音、图像内容的多媒体信息,也即多媒体通信。
这就给移动运营商们提出了一个新课题,即增加传输带宽,进一步发展数据业务及各种增值业务,尤其是与互联网相结合的数据业务。
移动多媒体通信正是在这种环境下开始成为移动通信的主要发展趋势之一。
通过无线通信系统接入互联网的方式分为两大类:
一是基于蜂窝移动通信的接入技术,如CDMA,GPRS等;二是基于无线局域网的技术,如WLAN,Bluetooth等。
总的来说,可以采用的主要有:
Modem,WLAN,GPRS,Bluetooth,移动IP以及WAP等等。
尽管它们解决问题的层面和侧重点不尽相同,但出发点都是相似的:
例如计算机设备(PC、Console等)如何实现移动性;便携式终端如何接入互联网并获取和显示信息等。
实际上,这两者也是相辅相成的,并且部分已经进入实用阶段。
另一方面,网络应用中多媒体通信是重要的组成部分之一。
多媒体信息主要是指包括图像、声音和文本三大类的信息类型,其中视频、音频等信号的信息量非常大,且这些信息的表现形式、输入、输出的要求也各不相同,因此,对这些数据进行有效的表示和处理显得非常重要。
为了满足多媒体通信对带宽的需求,无线网络都将网络传输速率作为其规格参数中的关键指标。
例如GPRS网络的理论最大数据传输速率达107.2kbps,CDMA1X的理论值最大可达153.6kbps,3G标准则规定不管何种无线技术均须提供2Mbps以上的传输速率,以满足业务需求,而基于802.11n的无线局域网目前则可以提供高达300Mbps的传输速率,这一速率还将在日后得到进一步提高。
此外,多媒体信息的压缩技术的日臻进步也为移动多媒体通信的实现提供了技术保证。
目前的手持移动设备的有许多钟,如PDA(个人数字助理)、MID(移动互联网设备)、手提电脑、WAP手机、智能手机、导航仪等。
这些手持设备的功能日益强大,已经出现了融合的趋势,市场上表现为互相渗透。
结合了PDA和行动电话关键功能的智能手机正是这种趋势的必然产物。
现在全球智能手机的出货量逐年大幅度攀升,其自身也在日趋完善,使得智能手机市场蕴藏着巨大的商机。
智能手机(SmartPhone)至少有四个标准:
可以语音和数据通信,这是手机的基本功能;基本的PDA功能;通信功能与PDA功能无缝融合,而非简单的“1+1”;开放式操作系统,第三方可根据操作系统提供的API为智能手机开发各种扩展应用和提供各种扩展硬件,这是智能手机的根本特性。
通俗的说,智能手机是一种在手机内安装了相应开放式操作系统的手机。
通常使用的操作系统有:
Symbian、WindowsMobile、iPhoneOS、Linux(含Android、Maemo和WebOS)、PalmOS和BlackBerryOS。
他们之间的应用软件互不兼容。
因为可以安装第三方软件,所以智能手机有丰富的功能。
智能手机这个说法主要是针对功能手机(FeaturePhone)而来的,本身并不意味着这个手机有多智能(Smart);从另一个角度来讲,所谓的智能手机就是一台可以随意安装和卸载应用软件的手机。
功能手机是不能随意安装卸载软件的,Java的出现使后来的功能手机具备了安装Java应用程序的功能,但是Java程序的操作友好性,运行效率及对系统资源的占用都比智能手机差很多。
由于智能手机自身的特点,许多原本基于PC互联网应用开始逐渐向智能手机等手持平台延伸。
1.2主要的研究工作及内容安排
长期以来,人们对流媒体技术的研究主要集中在固定终端及个人电脑平台,而对以手持平台为基础的高码率流媒体系统研究较少。
本文针对智能手机平台的特点,在充分利用手机操作系统自身的特点的基础上,同时考虑到软件可移植性,对移动流媒体客户进行了研究与实现。
具体内容安排如下:
第一章首先介绍了本课题的研究背景,具体介绍了多媒体通信及智能手机概念,现有主流手机操作系统以及发展现状。
第二章介绍了流媒体技术的基础知识,重点阐述了流媒体相关标准。
第三章介绍了用于移动手持设备的相关音视频编码技术,重点阐述了相关标准。
第四章分析了WindowsMobile平台的基本结构及模块组成,研究了FFmpeg及SDL等关键函数库在WindowMobile平台上的移植和集成,在此函数库基础之上,设计并开发了客户端所用的媒体播放引擎。
并且在本章介绍了移动流媒体系统的整体部署及工作原理,详细讨论了客户端与服务器之间的会话过程。
第五章分析了客户端软件设计的整体架构,详细设计了各个模块的功能、接口及执行流程等。
最后在TD-SCDMA实验网络中完成了软件测试,结果表明了该客户端具有良好的健壮性及容错能力,并且视频点播具有较好的回放质量及流畅度,带给用户较好的体验。
第六章对全文进行了总结,讨论了在音频,视频回放效率及质量等若干问题及对移动P2P进一步研究的展望。
第二章移动流媒体简介
2.1流媒体技术概述
流媒体(StreamingMedia)技术是为了在网络上传播多媒体文件(包括音视频、所开发的一整套技术架构,包括流媒体压缩技术、时基编码技术、传输控制协议等。
基本原理是根据网络的传输能力进行相应比例的有损压缩,确保基本信息的实时传输;在编码时插入时基标志,便于同步、缓存和拖动浏览;以客户端/服务器的架构提供文件服务,并使用实时传输协议在网络上传输,以确保传输质量。
流媒体的出现为Internet上的多媒体信息发布特别是连续的流媒体信息的发布提供了全新的手段。
通过移动网络在移动手持终端上采用流媒体技术实现的应用简称移动流媒体应用,典型的应用实例包括移动视频点播、移动视频聊天等。
而通过互联网、有线电视网在PC、电视机等设备上采用流媒体技术实现的应用称为宽带流媒体应用,典型应用包括在线影院和视频聊天等。
目前在网络上获取音视频等多媒体资源主要有下载播放和流式播放两种。
对于下载播放而言,由于音视频文件往往很大,需要大量的存储空间。
这一要求对于具备大容量硬盘的PC可能并不是问题,但对于存储容量很有限的手机而言却是一个难以克服的问题。
于是人们很自然地想到了将流媒体技术应用到移动网络和终端上,并称之为移动流媒体。
所谓移动流媒体就是把连续的影像和声音信息经过压缩处理后放到网络媒体服务器上,让移动终端能够一边下载一边观看、收听,而不需要等到整个多媒体文件下载完成就可以即时观看的技术。
实际上移动流媒体技术是网络音视频技术和移动通讯技术发展到一定阶段的产物,它是融合很多网络技术之后所产生的技术,它会涉及到流媒体数据的采集、压缩、存储以及网络通信等多项技术。
其主要有三大特点:
1,能够实时播放视频和音频等多媒体内容。
视频、音频等文件边下载边播放,当多媒体文件在客户机上播放的同时,文件的剩余部分在后台继续从服务器上下载,这样可以大大缩短启动延时。
2,流媒体文件不需要在客户端保存,节省了客户端的存储空间,而且也不需要较大的缓存。
3,由于流媒体文件不需要在客户端保存,从而简化了媒体内容的版权保护。
这些特点决定了移动流媒体业务具有良好的应用前景,尤其在增值业务成为主要盈利点的3G时代。
移动流媒体业务就是指流媒体技术在移动无线网络及其终端上的应用,主要是利用现有的2.5G或3G的移动网络,为手机终端提供音视频的流媒体服务。
移动流媒体业务的内容包括新闻资讯、影视、娱乐、体育、教育、行业应用等。
移动流媒体业务根据数据内容的播放方式可以分为三种业务类型,分别是点播,直播和下载。
随着3G技术的逐步成熟,将移动流媒体技术引入移动增值业务,已经成为目前全球范围内移动业务研究的热点之一。
3GPP、3GPP2等标准化组织早已开展了移动流媒体的应用研究工作,并已经制定了相应的标准。
2.2移动流媒体系统相关标准
在实现移动流媒体业务的协议中,音频、视频等流媒体数据主要通过RTP、UDP协议传输,而如静态图像、文本信息则一般使用HTTP协议进行传输。
RTSP及SDP协议用于会话的建立与控制,MIME用于描述媒体类型,RTP是媒体负载的单元。
2.2.1实时传输协议RTP
RTP(Real-timeTransportProtocol)是针对互联网上多媒体数据流的一个传输协议,国际电信联盟ITU-T也发布了自己的RTP文档,作为H.225.0,但是后来当IETF发布了关于它的稳定的标准RFC1889后就被取消了。
它作为因特网
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 智能手机 流媒体 客户端 研究 实现 学位 论文