多点触控MultiTouch屏幕技术综述.docx
- 文档编号:1179590
- 上传时间:2022-10-18
- 格式:DOCX
- 页数:6
- 大小:22.82KB
多点触控MultiTouch屏幕技术综述.docx
《多点触控MultiTouch屏幕技术综述.docx》由会员分享,可在线阅读,更多相关《多点触控MultiTouch屏幕技术综述.docx(6页珍藏版)》请在冰豆网上搜索。
多点触控MultiTouch屏幕技术综述
多点触控(Multi-Touch)屏幕技术综述
多点触控(Multi-Touch)屏幕技术综述
摘要:
随着iPhone等触控手机和平板电脑的日益火爆,人机互动领域成为新时尚热点,人们追求这种效果华丽、科技感强大的触控技术产品。
多点触控技术,支持复杂的姿势识别,通过手势操作,可以实现放大缩小图像等功能。
从此,人们可以甩开鼠标键盘,用双手就可以浏览图片、拖拽文件,甚至大玩游戏,一点一拨之间就轻松体验到充满科技乐趣的全新产品。
本文将从多点触控技术的定义,发展,当前应用,主要的研究方法分类和发展前景这几个发面对多点触控技术进行综述。
关键词:
多点触控;Multi-touch;多通道交互技术
1、多点触控(Multi-Touch)屏幕技术定义
多点触控(又称多重触控、多点感应、多重感应,英译为Multi-touch或Multi-touch)是一项由电脑使用者透过数只手指达至图像应用控制的输入技术。
是采用人机交互技术与硬件设备共同实现的技术,能在没有传统输入设备(如鼠标、键盘等)的情况下进行计算机的人机交互操作[1]。
多点触控系统特点:
1、多点触控是在同一显示界面上的多点或多用户的交互操作模式,摒弃了键盘、鼠标的单点操作方式。
2、用户可通过双手进行单点触摸,也可以以单击、双击、平移、按压、滚动以及旋转等不同手势触摸屏幕,实现随心所欲地操控,从而更好更全面地了解对象的相关特征(文字、录像、图片、卫片、三维模拟等信息)。
3、可根据客户需求,订制相应的触控板,触摸软件以及多媒体系统;可以与专业图形软件配合使用。
2、多点触控(Multi-Touch)屏幕技术发展历史
多点触控技术始于1982年由多伦多大学发明的感应食指指压的多点触控屏幕。
同年贝尔实验室发表了首份探讨触控技术的学术文献。
1984年,贝尔实验室研制出一种能够以多于一只手控制改变画面的触屏。
同时上述于多伦多大学的一组开发人员终止了相关硬件技术的研发,把研发方向转移至软件及界面上,期望能接续贝尔实验室的研发工作。
1991年此项技控取得重大突破,研制出一种名为数码桌面的触屏技术,容许使用者同时以多个指头触控及拉动触屏内的影像。
1999年,“约翰埃利亚斯”和“鲁尼韦斯特曼”生产了的多点触控产品包括iGesture板和多点触控键盘。
经过多年维持专利的iGesture板和多点触控键盘。
2006年,Siggraph大会上,纽约大学的JeffersonYHan教授向众人演示最新成果,其领导研发的新型触摸屏可由双手同时操作,并且支持多人同时操作。
利用该技术,JeffersonYHan在36英寸×27英寸大小的屏幕上,同时利用多只手指(拇指似乎还无法感应到),在屏幕上画出了好几根线条。
与普通的触摸屏技术所不同的是,它同时可以有多个触摸热点得到响应,而且响应时间非常短——小于0.1秒。
3、主要的研究方法分类
1基于传感器的Multi-Touch系统
许多Multi-Touch装置基于传感器技术,这些传感器能同时检测到多个接触点,从而识别多个点的输入。
和基于计算机视觉的Multi-Touch系统相比,基于传感器的Multi-Touch系统一般不能从现成的组件来组装,搭建的成本较高。
而且环境温度、湿度的会影响到系统的性能。
但是由于可以把传感器集成在接触表面上,可用于手机、Pads等屏幕较小的手持设备上。
Lee等在1985年提出的FMTSID(FastMultiple-Touch-SensitiveInputDevice)[2]多点触控装置是最早的基于传感器的多点触控装置之一。
该系统由一个传感器矩阵面板、行列选择寄存器、A/D转换器和一个控制CPU组成。
通过测量电容的改变,来检测手指的触摸点。
FMTSID可以精确的检测多个手指的触摸位置,而且还可以检测出手指的接触压力。
表1Multi-touch技术分类
基于传感器技术
FMTSID(FastMultiple-Touch-SensitiveInputDevice)
DiamondTouch
SmartSkin
iPhone手机
基于计算机视觉技术
完全基于计算机视觉
EverywhereDisplay
PlayAnywhere
基于计算机视觉和光学
FTIR(FrustratedTotalInternalReflection)]
MicrosoftSurface
三菱电子研究实验室的Dietz等在2001年提出了DiamondTouch(DT),是一个支持多用户的前置摄像头的多点触控系统。
桌面是投影的屏幕,同时也是接触屏。
触屏下面镶嵌大量的触角,每一个触角传递一个特定的信号,每一个使用者有独立的接收器,利用使用者的导电性,通过其座椅将信号传递。
当使用者接触面板,在接触点附近的触角在使用者的身体和接收器之间传递微弱的信号。
这种独特的接触技术支持单一使用者的多种接触(例如双手接触的动作),还能区别不同使用者之间的同时输入(多达4个)而互不干扰。
该系统还可以检测接触点的压力,支持丰富的手势,不受外来物体的干扰。
和许多的多点触控技术一样,DT不能区分来自同一个用户的多个接触点是那个手指的。
DiamondTouch存在如下的缺点:
只能检测到“touch”动作,而不能识别放在他表面上的物体;DT则从桌子上方投射图像,因此使用的时候,人的肢体遮挡显示屏,从而带来操作上的不变。
根据Lee等提出的FMTSID原理,Sony计算机科学实验室的Rekimoto等在2002年提出具有更高分辨率的SmartSkin[3]多点触控系统,该系统由网格状发射器/接收器组成。
SmartSkin可以不仅可以识别多个手的接触位置和它们的形状,而且通过电容感应和网格式的天线来计算手和接触面的距离。
和DiamondTouch相比,SmartSkin能够返回更加丰富的接触信息(如手指的接触形状)。
这激发了Cao等人利用手指的接触形状来设计新颖的交互方式。
Apple在2007年推出的iPhone手机,是第一个支持多点触控的移动设备。
iPhone使用电容耦合来感应多个触控点。
iPhone能够实现具有有限维度的多点触控,允许人们以徒手的方式进行操作,并且可以通过虚拟的键盘进行打字,拨电话号码以及由Krueger最先介绍的“pinching”技术(用一只手的大拇指和食指实现对地图和照片的缩放操作)。
这是鼠标、键盘这些传统的输入方式所办不到的,iPhone的这些功能让人们耳目一新。
随着Apple公布了iPhoneSDK,引起了研究人员对于Multi-touch技术在手持设备中的应用研究的极大兴趣。
2基于计算机视觉的Multi-Touch系统
由于计算机成本的下降和性能的提高,计算机视觉技术得到了很大的进步,这使我们能够实时、高速处理视频信号,这足以满足实时交互和人机交互的要求。
由此研究人员提出了许多以计算机视觉为核心的Multi-Touch系统。
2.1完全基于计算机视觉的多点触控系统
完全基于计算机视觉的多点触控系统仅使用图像处理技术来识别接触点及其接触的位置。
采用该技术的多点触控系统可以在任何平整的表面使用,而不需要专门的显示设备,具有很高的便携性。
但这种便携性是以牺牲选择精度为代价的。
Pinhanez等人设计了一个完全基于计算机视觉的触摸显示系统——EverywhereDisplay[4]。
该系统使用一个摄像头和投影仪通过图像处理技术把一个普通的屏幕变成可以触控互动的显示屏幕。
虽然Pinhanez在文章中没有提供任何接触检测算法的选择精度的数据,但很明显为了便携性而牺牲了选择的精度。
比起其它Multi-touch技术来说,EverywhereDisplay要精确确定手指触摸显示屏的时间和时长很困难。
Microsoft的Wilson等提出的PlayAnywhere系统]是一个相对比较紧凑和具有较好的移动性的前置摄像头的桌面交互系统。
Wilson为基于计算机视觉的前置摄像头桌面交互系统提出了多种图像处理技术,最显著的是基于阴影的触摸检测算法,该算法能够准确、可靠地检测触摸事件和它们的接触位置。
但Agarwal等指出,该算法只有在手指的指向是垂直的情况下效果才是最好的,这限制了该系统在协作环境下的应用。
Agarwal等人根据立体图像和机器学习技术开发了计算机视觉算法,该算法改善了基于计算机视觉的多点交互桌面的选择精度(精确度2~3mm),能够准确地检测指尖的触摸事件,其准确率达到了98.48%,这和以前的技术级相比(之前的选择精度一般是cm级别的),有了很大的提高。
2.2基于计算机视觉和光学的多点触控系统
基于计算机视觉和光学的Multi-touch技术搭建起来的设备具有很好的扩展性,而且成本相对较低,但其体积一般都比较大。
下面介绍两种基于计算机视觉和光学的Multi-touch系统。
(1).受抑全内反射技术(FTIR)
FTIR(FrustratedTotalInternalReflection)是一种光学现象,LED(发光二极管)发出的光束从触摸屏截面照向屏幕的表面后,将产生反射。
如果屏幕表层是空气,当入射光的角度满足一定条件时,光就会在屏幕表面完全反射。
但是如果有个折射率比较高的物质(例如手指)压住丙烯酸材料面板,屏幕表面全反射的条件就会被打破,部分光束透过表面,投射到手指表面。
凹凸不平的手指表面导致光束产生散射(漫反射),散射光透过触摸屏被架设在亚克力板面下面的红外摄像头读取,通过对应的软件(Touchlib)就可以检测到相应的触摸信息。
Touchlib是NUIGroup为多点触控系统开发的一套软件库,它实现了计算机视觉大部分算法。
这种技术使用简单的Blob检测算法就能检测多个触摸点和接触的位置。
实际上,FTIR原理很早就被用来生产一些输入设备,例如指纹阅读器。
Jefferson首次利用FTIR原理搭建了一个低成本的多点触摸显示屏,大大降低了Multi-touch技术的研究成本。
根据Jefferson的方法,我们搭建了一个60cmx45cm的Multi-touch平台,总共花费不到500元。
(2).散射光照明技术(DI)
DI(DiffusedIllumination)多点触摸技术指红外光从底部照射在触摸屏幕上,将漫反射幕放在触摸屏幕的上面或者底部,当物体触摸屏幕的时候会反射比漫反射幕更多的红外光,然后被摄像头读取,通过Touchlib就可以检测到相应的触摸信息。
用这个漫反射幕也可以用来检测悬停和在界面上的物体。
DI技术和FTIR相比,有一定的优势,DI系统可以检测物体的悬停状态(系统能识别手或者手指在屏幕上移动或者移近屏幕,而不需要真正触摸)。
另外,基于DI的系统依靠“看”什么在屏幕上,而不是检测触摸本身,因此,DI能够识别和检测物体和物体的标记。
但是,和FTIR中使用的简单的Blob跟踪检测算法相比,DI使用的图像处理技术比较复杂。
此外,DI系统容易受到外界光线的影响。
Microsoft的Surface是基于背面DI(DiffuseIllumination)技术的多点触控系统。
Surface内置的摄像头可以感知触摸和姿势等用户输入(手指在屏幕上移动),还能够捕捉识别放在上面的物体所需信息。
这些信息发送到普通类型的WindowsPC进行处理,处理结果由数字光处理(DLP)投影仪返回给Surface。
MicrosoftSurface能感应多个手指和手,能识别多种物体和它们在表面上的位置。
还有其他一些基于计算机视觉和光学的Multi-touch系统,例如:
Alex提出的激光平面多点触摸技术(LLP)[5];由Nima提出发光二极管平面多点触摸技术(LED-LP);由TimRoth提出的散射光平面多点触摸技术(DSI)。
这些技术都可以用来搭建Multi-touch设备。
更多的信息可以浏览自然用户界面小组(NU
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多点 MultiTouch 屏幕 技术 综述
![提示](https://static.bdocx.com/images/bang_tan.gif)