登陆注册
17928800000019

第19章 体感计算域体感交互(2)

体感行为建模问题,可以使用数学方法:维度空间、非线性、统计、灰色理论、随机过程等方法。把人的身体运动行为模型化,目的是在于计算机实现身体运动行为的形式化,以便于实现体感计算交互系统。

体感运动进行度量的工作涉及到心理学、认知科学等很多研究领域。虽然由于体感的复杂性以及人类对身体运动变化规律的研究尚不完善,使得这项工作十分困难,但是对于体感度量的探索已经出现了进展,加深了各学科对体感运动的认知。如本书的前几章所述,目前已经有一些人体运动语言的研究成果,当然具体应用领域需要更为复杂细分的运动语义,所以还没有一个标准的规则,但是至少有些模型从功能的角度可以实现有限的体感行为交互。

体感交互需要任务的具体语义、特定的功能。使计算机模拟人类的身体运动智能,或者模仿身体运动行为,对于个性化体感交互是有意义的。

用于体感交互系统的数学模型可以有如下几种类别:

(1)OCC认知模型

OCC模型已经成功的用于应用在情感识别中,主要方法是根据认知诱发条件来将情感分类。具体地说,情感由于正或负的诱力对由时间、智能体和对象组成的情境反应中产生,Ortony,Clore和Collins在这种结构中规定了22种情感类型,如图6.8所示的OCC认知模型25。

OCC模型也可以用在合成体感交互内容,是事件、对象、智能体等情境综合的结果。用于某一种体感状态,其本身就是一种情境。

在体感计算中,OCC模型不仅能用于推断体感状态,也可以用于激起其它的体感产生的影响,如激起身体感觉的主观体验,并将其和这时的情境联系在一起。

(2)有表情的智能虚拟化身

在每个有表情智能虚拟化身中可以允许常见的几种情感表达,比如:中性、高兴、不高兴、兴奋、非常高兴(希望)、焦虑(恐惧)、满意、失望、惊奇和宽慰。潜在的情感状态,由一个结果修正的OCC模型的子集确定。

(3)动画角色的情感和情绪

由动画角色产生的情感影响了一些认知活动,如新目标和新行为的产生。

目前,动画角色的情感和行为规则,认知和行为的影响大部分是硬编码的(hand-coded),能够通过艺术家或程序员手动改变,使其适应新的人物和情境。

其中包括社交规则,人们可能会认为,在一个自然的体感交互模型中,这些应该是能学习的而不是硬编码的。艺术家可以有意的控制人物及其发展,如果规则和体感又被体感影响的社交的事实,还是迈出了重要的一步。

在体感行为合成中,人的情感体验不完全决定行为,情感体验仅仅影响行为的方式。其他的因素,如创造物和环境的类型,它的个性特征,它的价值等,这些因素和体感一起影响行为。

(4)社会关系中的体感

为了让体感智能虚拟化身有身体感觉的共鸣以及其他基于用户和其他智能体的体感,它必须对其他人评价世界的假定方法,具有一种内部表示。这种内部表示,不仅能产生共鸣反应,也能产生对其他人的行为表现所引发的体感。对于用户和其它智能虚拟化身的共鸣反应是体感虚拟化身的主要成分,体感智能交互虚拟化身将会在下一节介绍。

体感虚拟化身的另外两个重要方面是:

根据假定的评价和事件,猜想其它智能虚拟化身的体感是基于逻辑的前向推理。

根据其它智能体的表达和条件,推测其潜在的体感语义,从而推测其它智能体认定的交互评价。这些方面对赋予计算机识别情感的能力来说都是重要的,但是它们是基于环境将如何产生情感的高级推理,而不是基于表达模式。

(5)RosEman的认知评价模型

RosEman模型是因为简洁性和基于人类的评价智商,具有很好的效果,如图6.9所示54。但是该模型的一个局限是,它不能处理可作多种评价的复杂情境,该模型提供了可能适用于这种案例的一种结构。总之,在计算机中实现体感产生的推理和实现基于认知评价智商的情感产生中,它将有利用的价值。

体感状态在同时运行多任务的机器上产生内部控制信号,在到了需要改变的时候提醒计算机注意,这些信号不仅可以对学习产生影响,而且也能对记忆、感觉以及其它重要功能产生影响。

本章描述了使计算机开始具备识别和表达体感能力的模型。特别是根据模式识别分析,提出了可用于识别和合成手势、面部表情、识别和合成语调,识别对应感知状态的生理信号模型,以及体感行为建模的工具。

本书把这个模型运用到手势体感输入到需要体感交互信息的移动设备的设计中。

在应用中体感计算的最关键的问题是,在体感识别系统的首要原则和应用中,如何设法通过测量生理运动信号来识别用户的体感状态,构建一个个性化的体感识别模型。识别用户的体感状态的目的是尽可能的获得与人一样的自然人机交互,无缝的适应人的体感状态,并且通过各种各样的情感应用来影响用户的情感。

体感行为模型一方面是需要简化人的体感以便于行为建模,另一方面是要通过各种各样的生理信号识别来推断用户最终的体感状态,并且,不同的应用情境具有不同的行为交互语义。

体感行为模型是利用数学和信息科学的手段对人类身体运动过程进行模拟、识别和理解,使机器能够产生类人的体感和情感,并与人类进行自然和谐的人机交互的研究领域。

6.3体感交互的虚拟化身

体感交互的用户界面,也就是人和体感系统进行交互的接口,包括系统给用户提供各种体验性认知的信息反馈,及用户通过运动传感器等输入设备进行情感信息的输入操作媒介。

体感系统需要设计的简洁易用,人性化,类似人与人之间的交流习惯。用户界面主要包括各种图形界面的控件以及控件间的组织机制,合适的用于处理输入及响应消息机制,用于绘制用户界面的渲染模块。

以往的人机交互一直是强调满足可用性的要求,极少注意如何设计令人愉快且有情感的界面。然而情感界面对于系统可用性是很重要的,本书提出的体感交互的虚拟化身,具有的情感表达方式,可以表现为智能虚拟化身的声音、表情和动作等。本书提出的一个体感交互界面设计方法,是使用富含表情的智能虚拟化身来表达情感状态。这个虚拟化身除了能够满足用户的交互需求,还可以表达生动有趣的体感信息,让用户感觉具有人性关怀,富有亲和力和吸引力。

体感交互的虚拟化身主要用于:一、表达系统体感交互的状态;二、引起和刺激用户的情感反应,如轻松、舒适、受鼓舞和开心等。

体感交互虚拟化身的设计与交互的类型、整体风格联系的十分紧密,系统可以预设很多个虚拟化身的角色,以供不同需求的用户选择。为了实现更为人性化的体感计算,体感虚拟化身应该有以下的特征:

1.应该根据用户的性格特点提供合适的体感类别。

2.要根据具体的交互需求来决定虚拟化身的气质风格。

3.还应考虑国情和文化的需求,代表不同的运动行为符号。要考虑到所处国家的风土人情和习俗。避免干扰性内容在体感虚拟化身的交互中出现。

人性化对于系统可用性是非常重要的,所以要设计智能化的体感虚拟化身,可以充分满足用户的需求,激发用户主动参与交互的积极性。在图6.10的体感化身的示意图中,描述了把体感虚拟化身设计并用到用户界面中的概念图。

基于运动感知的体感虚拟化身,可以根据用户不同的情绪,来调节情感互动交流。比如,当需要抒情的舒缓的手部运动时,如果用户的运动比较急促,虚拟化身就可以用温和的声音去提醒用户要放慢节奏,也可以同步适时地在用户的体感语义提示下,伴随着柔和的音乐或者舞蹈来进行体感互动。

本书按照虚拟化身的拟人化程度以及它们模仿的对象,可以把虚拟化身份成以下几类:合成人物、动画虚拟化身和形象化的对话界面等。

体感交互虚拟化身可以像教师或者教练一样,在交互学习中指导用户的运动行为。体感虚拟化身可以采用动画角色的形式,使得用户产生浓厚兴趣的互动期盼,也可以让体感虚拟化身实现个性化、智能化,可信任的交互互动。

在设计虚拟化身时,关键问题是如何提高虚拟化身的可信度。所谓可信度是指与虚拟化身交互时,用户可以在何种程度上相信虚拟化身具有自己的行为个性、思想和愿望91。也就是说,能让用户信服的虚拟化身,应该是能够消除用户疑虑的,其中一个关键因素是,化身的个性与性格必须与它的行为相符。因此,我们需要明确什么样的行为才能代表不同类型的情感或情绪。例如,如何表达非常高兴?用户是否容易辨别虚拟化身的各种不同身体运动特征?虚拟化身能够表达多少体感语义?

如上所述,虚拟化身的行为应该同它的情感状态相吻合,例如,当虚拟化身表达生气的心情时,它的肢体语言、动作和面部表情应该能够体现它的情绪。如何有效的实现呢?我们可以借鉴虚拟化身的表情、动作,以突出化身的体感状态,实现更为生动的体感表达和交互体验,刺激用户的认知系统。

在设计体感虚拟化身时要使用以用户为中心的方法,研究用户的行为和交互语境,捕捉用户的行为特征,在整个开发的过程中都应该向用户咨询,然后做出决策。

6.4体感计算的框架模型

体感计算的体系结构是在用户模型和行为模型的基础上以模块化的方式建立起来的,在系统模型中要考虑到整个体感交互的框架。

如图6.11所示,体感计算交互系统模型根据交互信息处理功能的不同分为三层:

交互层:位于用户界面最底层,由输入和输出设备模块以及数据预处理模块体感计算和渲染模块组成,主要是用户对于系统的操作方法。其中输入设备模块主要包括进行运动感知的信号采集设备,可以是单一的通道或者是多通道的信号采集,具体包括运动传感器、摄像头、麦克风、鼠标、数据手套、键盘等。采集到的身体运动信号直接输入到数据预处理模块或者其他相关模块,然后进行信号分析和识别。例如增强、滤波、提取特征、参数记录等,以便于进行行为识别模块或者其他相关的模块使用。渲染模块与输出设备模块负责将表达合成模块的输出信息转换成用户能够感知的图形、声音等,也可以转换成体感交互虚拟化身的身体动作或者表情。交互层在整个用户界面结构中相当于词法层或者语义层。

表示层:是体感计算系统模型的中间层,主要包括了运动行为识别和合成模块。行为识别模块负责对采集到的人体信号进行复杂的特征提取或者分类识别,此外还可以进行运动跟踪等工作。运动体感识别的结果主要是以语义的形式提供给对话管理模块进行整合处理。表示合成模块用于将对话管理模块输出的语义信息转换成多媒体数据的形式。其中可以提供对于体感信息的可视化、虚拟现实、语音合成等对象的具体转换功能。为了提高体感计算系统的人性化和智能化,表现层的形式应该尽可能的多元化,并且要简单清晰。

对话层:是在体感计算系统结构中用户最先接触体验到的一层。对话层除了包括处理交互层和表示层之间的沟通协调外,还要负责语义级的数据整合、理解和体感模拟、表达等。为了更好的拟合高层次的知觉和思维,对话层中还应该有上下文的管理功能。此外通讯对象可以与其余的交互应用互相沟通,具有一定的网络体感系统的功能。

在体感计算系统模型中,可以采用多通道和多媒体的交互方式。因此,很多输入和输出设备在固件和驱动层面都已经提供了比较高层次的功能,体感计算系统模型的输入设备与数据预处理模块、渲染与输出模块可以整合在一起,以便于提高系统可用性和系统开发效率。

对于体感交互的识别与处理,体感计算系统采用机器学习的方法,先进行身体运动行为的训练采样,然后再分类识别,训练的动作数据先存放在训练数据中。

当在正式进行交互过程中,用户的动作结果预处理后经过系统识别模块的识别处理,然后再通过事件输入到对话管理模块进行整合理解,然后输入到上层应用。

为了向用户提供直接的反馈,表达合成模块适时地处理识别结果事件,进行交互输出,并且驱动体感交互虚拟化身。

体感计算系统通过有限的人体运动数据而得到人的体感动作语义,并借助体感计算系统的动作数据库以相对精确的方式与用户进行体感交互的互动。

6.5本章小结

本章融合了人类的外在行为和内部情感,并且探讨体感计算交互的概念模型和基于运动感知的体感计算交互模型,解析了人的行为体验模型和体感交互的虚拟化身,最后分析了在体感计算系统的设计、开发过程中的原则和方法等。

本书面向个性化学习提出全新的交互方式-行为交互,计算机可以通过用户的身体运动语言去识别和预测用户的意图、潜在状态和需求,以便于进一步满足用户的需要和做出积极的反馈。在系统捕获到人的肢体运动后,判断人的交互意图,分析相应的语义,系统随即做出反应。

同类推荐
  • 创业在微软

    创业在微软

    身处软件巨擘微软之中,何来“创业”二字?本书详尽勾勒了微软亚洲工程院(ATC)的成长历程,披露了工程院人在“创业”过程中不为人知的种种酸甜苦辣,生动展现了工程院的独特文化,并从另一个角度展现了其领袖人物张宏江博士的心路历程和管理思想。
  • 公开时刻

    公开时刻

    本书从传播者分析,内容分析,媒介分析受众与效果分析,传播环境与传播控制分析等几大方面把汶川地震作为重大传播案例,阐释汶川地震的传播学遗产。对政府部门和新闻媒体在危机公关方面做出正面评价。
  • 从平凡到神奇

    从平凡到神奇

    本书结合多年的开店经验,全面地讲解了在淘宝网开设店铺的相关知识,为准备在淘宝网创业的卖家及刚刚创建店铺的店主,提供全面的开店和经营方面的指导。本书按照淘宝开店的流程安排内容,侧重每个步骤中的实际技巧。本书分3个部分:如何在淘宝开店、如何开好店、如何做强做大店铺。前3章介绍了在淘宝网开设店铺的基础知识,指导读者在开设店铺前做好准备工作,以及建立起自己的店铺,并且完成店铺的第一笔交易;第4章至第7章主要介绍了网店装修和推广的方法,以及网店的物流经验和技巧;第8章着重介绍了将网店做大做强的方法,帮助卖家在开店和经营中树立品牌意识,做大做强自己的店铺。
  • 网络广告经纪人

    网络广告经纪人

    本书为网络广告经纪人培训认证的指定教材,该认证是商务部中国商务广告协会和信息产业部中国电子商会联合推出的,旨在为国家造就和培养出一大批网络广告梯队型人才。该教材包括网络广告经纪人的介绍和发展趋势,以及网络广告的原理、策划、设计、制作、发布与交换、效果评估、管理,以及网络广告营销的国内外最新的成功案例,还提供了一些常用的网络广告制作工具。本教材适合助理网络广告经纪人和网络广告经纪人层次使用。也可作为高校广告、电子商务等专业的教材。
  • 数字博物馆研究与实践:2009

    数字博物馆研究与实践:2009

    本书汇集了“2009年北京数字博物馆研讨会”与会代表提交的60余篇论文和演讲报告、应用案例,分为数字博物馆(科技馆)发展研究探讨、数字博物馆(科技馆)多样性发展模式、数字技术在博物馆(科技馆)展陈中的应用、数字博物馆(科技馆)建设实践、数字博物馆(科技馆)实现技术和数字博物馆调研报告等六个部分。本书内容囊括了对数字博物馆(科技馆)建设宏观层面的全局思考以及微观层面的具体实践。在宏观层面,介绍了数字博物馆(科技馆)在国内外的发展现状与趋势,通过剖析典型案例,探讨数字博物馆(科技馆)建设的意义、目标、作用、建设原则、要素、特征及目前建设工作中存在的现实问题与对策。
热门推荐
  • 我在阿拉德重生了

    我在阿拉德重生了

    阿拉德大陆巅峰冒险家林渊误入死神陷阱,身死在死亡之塔。在死前,他发现了死神收集强者灵魂的秘密,目睹了一个完全免疫魔法攻击的神秘黑袍女子。五十年后,林渊重生复活,变为少年模样。但却实力全失,沦为一名普通人。重生后他发现,大陆发生了巨大的变化。昔日的他成为了大陆的公敌,大陆众人推崇的剑术变得没落,低调加入剑术武馆重新修炼的他,在那里,遇到了前世的徒弟。一边是要调查自己多年前误入死亡陷阱与成为大陆公敌的原因,一边要隐瞒身份重新炼鬼手的鬼神之力...故事从这里开始...
  • 罪溺之眼

    罪溺之眼

    八月的雪,预示着罪溺的开始!一个因出意外获得可以看到阴物能力的谢凌泽发现了她的存在,一个根本无法实现的项目展开了新的研究。原来一切都是早已预划好的阴谋,她能否逃脱命运的束缚。神秘组织找到她并不是因为她有多么优秀,他们只认这双眼睛。宿命,一切才刚刚开始......
  • 山海逆魔录

    山海逆魔录

    山海大陆,一言不合,即可决斗。主角绝境逢生,奈何天生为魔。从太古、远古到近古,为何妖亦为魔?严谨的设定,博大的背景,热血的打斗,都在本文!
  • 步枪科技知识(下)

    步枪科技知识(下)

    枪械是现代战争中最重要的单兵作战武器。随着信息化作战的发展,枪械的种类和技术也在不断地发展变化着,从第一支左轮手枪的诞生,到为了适应沟壕战斗而产生的冲锋枪,从第一款自动手枪的出现,到迷你机枪喷射出的强大火舌,等等,枪械正以越来越完美的结构设计,越来越强大的功能展示着现代科技的强大力量。揭开现代枪械的神秘面纱,让你简直大开眼界!
  • 重生之见证辉煌

    重生之见证辉煌

    张旭东重生后,他这样想这样做,然后他就成功了。
  • 逝殇之域

    逝殇之域

    游戏人生,谁的人生没有闪过腰?随遇而安,逆袭还是秒成渣?
  • 张家九云

    张家九云

    一位偶遇车祸的少女,来到了张家,在张家经历了种种刻苦的事情
  • 都市之王途

    都市之王途

    神秘身世何时揭晓,天生奇才都市逍遥,美女校花倒追,特别爱好敲诈勒索。纨绔,什么才是纨绔,黑道,打到你服为止。看古武奇少年夜幕是如何一步一步成为王者。有鲜花,有美女,有热血,有激情。
  • 渡灵诀

    渡灵诀

    是什么,让一个年仅六岁的小女孩背井离乡?是什么让一群老鬼变身成奶爸奶妈开始带孩生活?这究竟是人性的扭曲?还是道德的沦丧?(滑稽/滑稽/)咳咳,就是讲一个小姑娘身带天道buff替天道捉虫子最后被某只脸厚心黑拐进怀里的故事。
  • 通天神印

    通天神印

    天斗世界传说,远古时代,有通天之树镇压大陆,一场灭世大战过后,此树被毁,大陆崩碎,世界格局、人类文明进入了另一条轨道。刚刚从校园走出来的叶辰,惊闻家庭剧变,父母双亲遭人陷害,不幸而去,为报大仇,叶辰隐忍谋划七年时间,终于以鲜血浇铸了他心中的正义。惊天血案让世人震惊,无牵无挂的叶辰带着微笑离开了这个世界,却又意外穿越,开始了另一段光怪陆离的人生……