<

AI描述图片,帮视障者“看”到更多

来源:科技日报2018-02-12

  刘彪正在使用qq空间。(信息无障碍研究会供图)

  刘彪打开手机QQ空间,触摸到好友发的图片。

  以前,他耳边响起的是读屏提示音“图片”。现在,他听到了更多内容——“图片:一个长发女孩在夕阳下的照片。”

  这是新的安卓版QQ空间客户端基于人工智能技术推出的“图片语音即时描述”功能。

  “这个感觉很不一般。”刘彪是视障者,也是公益组织信息无障碍研究会的技术主管。虽然语音只是描述出了图片的主要信息,但对刘彪而言,体验从此大不相同。“以前好友发图,就只能‘绕道’。现在知道他大概发了什么,还能在评论区互动一下。”在人工智能的帮助下,视障者成功地在图片动态下刷了把存在感。

  让科技在社交场所落地

  很早之前,信息无障碍研究会就和QQ空间建立了合作,协助他们进行软件的无障碍优化。

  所谓信息无障碍,简单来讲,就是让包括视障者、听障者、读写障碍者在内的所有用户,都能够顺畅使用互联网。它是互联网世界里的无障碍设施,就好像马路上的盲道、地铁站里的无障碍电梯。

  视障者,同样也是互联网产品的用户。他们靠语音辅助程序或读屏软件,读新闻、点外卖、购物、打车……

  以及社交。

  刘彪说,现在越来越多的人喜欢晒图和发小视频,但他们看不见,就只能去问一句——你发了什么?“我们就跟QQ空间的工程师反馈了这个痛点——如果图片能识别出来,那多酷。”

  QQ空间产品开发技术人员告诉科技日报记者,目前QQ空间用户发表的动态中,60%以上包含图片。如果无法读图,对视障人群来讲,确实是相当大的信息缺失。双方都觉得这个功能挺酷,于是说干就干,着手优化。QQ空间也和腾讯人工智能团队沟通,寻找科技解决方案。这次的图片语音即时描述功能,就用到腾讯AI Lab的技术。

  “腾讯AI Lab图片描述生成技术一般都是基于编码器—解码器框架。这一技术的难点在于设计出能够充分理解图像内容的模型,进而将相应编码的图像内容再‘翻译’成自然语句。”腾讯AI Lab技术人员解释,这样的模型不仅需要深度理解图像,也需要理解自然语言,更重要的是学习图像与自然语言之间的多模态交互关系。

  要真正落地,技术还要应对一大难题,那就是用户上传的图片具有高度多样性。他们发星辰大海,也发生活中的细枝末节。由于图片题材广泛,腾讯AI Lab技术人员坦言,有时图像的自然语句描述不会特别精确。“这需不断积累数据,不断提升算法的性能,两者互相促进,提升算法精确度。”

  为无障碍锦上添花

  其实就在几年前,对国内互联网公司来说,“信息无障碍”还是个有些陌生的概念。

  当时,科技日报记者曾采访现在的信息无障碍产品联盟秘书长梁振宇。他表示,对互联网产品团队来说,每个问题都有优先级。“无障碍优化”这一看起来有些小众的需求,有时就被放在了一旁。

  “这两年,社会各界对信息无障碍的关注都在提升。”刘彪介绍,信息无障碍研究会和百度、腾讯以及阿里旗下的多款产品都建立了合作关系。至少,现在主流的互联网公司都知道何为无障碍,有条件的,也愿意为此努力。

  QQ空间产品团队就表示,在信息无障碍技术方面,手机QQ空间从2014年开始,持续在好友动态、消息、个人主页等核心场景优化体验,并把信息无障碍作为每一个功能发布的必备特性,坚持每个版本解决一些问题,并从内测阶段即邀请视障用户参与产品测评,再根据反馈的建议和意见,持续进行版本优化。“让QQ空间更好地服务障碍用户,为障碍者提供舒适的社交体验。”

  要做到信息无障碍,其实并不需要前沿什么技术。刘彪介绍,开发者了解用户需求并按照一定规范进行APP的设计开发,产品就能实现“信息无障碍”,从而造福广大视障用户。而人工智能,则可以锦上添花。

  “语音输入让我们的输入效率变得更高,OCR文字识别让我们能够‘认’出药瓶上的字。那些改变你们生活的应用,也提高了我们的生活质量。”刘彪也在用智能音箱等智能家居产品。“我们以前用空调、洗衣机等家电时,是靠记忆来按按钮,有了人工智能技术,可以进行语音控制,也省去了这些麻烦。”他提醒道,“有些智能家居有手机APP操控功能,这些APP也要注意进行无障碍优化。”

>
相关新闻
精品栏目

旺,戊戌狗年新期待

七旬夫妻抗癌记

火车上的深夜厨房

重庆各区县的特色美食

热门推荐

返乡列车春意浓

中国红 喜迎新

苗山年前喜事多

南京:秦淮灯会亮灯

任嘉伦彰显时尚态度

李菲儿演绎都市摩登风

新闻 |  问政 |  资讯 |  百事通

华龙网 www.cqnews.net 触屏版 | 电脑版

Copyright ©2000-2015 CQNEWS Corporation,
All Rights Reserved.
首页 | 新闻 原创 视听 | 问政 评论 社区 | 区县 娱乐 财经 | 旅游 亲子 直播 | 文艺 教育 科普 安监 | 房产 健康 汽车 | 取证 宅购 地图 | 麻哥辣妹 3c家居
  • 站内
站内
分享
新浪微博
腾讯微博
微信
QQ空间
QQ好友
手机阅读分享话题

AI描述图片,帮视障者“看”到更多

2018-02-12 10:11:39 来源: 0 条评论

  刘彪正在使用qq空间。(信息无障碍研究会供图)

  刘彪打开手机QQ空间,触摸到好友发的图片。

  以前,他耳边响起的是读屏提示音“图片”。现在,他听到了更多内容——“图片:一个长发女孩在夕阳下的照片。”

  这是新的安卓版QQ空间客户端基于人工智能技术推出的“图片语音即时描述”功能。

  “这个感觉很不一般。”刘彪是视障者,也是公益组织信息无障碍研究会的技术主管。虽然语音只是描述出了图片的主要信息,但对刘彪而言,体验从此大不相同。“以前好友发图,就只能‘绕道’。现在知道他大概发了什么,还能在评论区互动一下。”在人工智能的帮助下,视障者成功地在图片动态下刷了把存在感。

  让科技在社交场所落地

  很早之前,信息无障碍研究会就和QQ空间建立了合作,协助他们进行软件的无障碍优化。

  所谓信息无障碍,简单来讲,就是让包括视障者、听障者、读写障碍者在内的所有用户,都能够顺畅使用互联网。它是互联网世界里的无障碍设施,就好像马路上的盲道、地铁站里的无障碍电梯。

  视障者,同样也是互联网产品的用户。他们靠语音辅助程序或读屏软件,读新闻、点外卖、购物、打车……

  以及社交。

  刘彪说,现在越来越多的人喜欢晒图和发小视频,但他们看不见,就只能去问一句——你发了什么?“我们就跟QQ空间的工程师反馈了这个痛点——如果图片能识别出来,那多酷。”

  QQ空间产品开发技术人员告诉科技日报记者,目前QQ空间用户发表的动态中,60%以上包含图片。如果无法读图,对视障人群来讲,确实是相当大的信息缺失。双方都觉得这个功能挺酷,于是说干就干,着手优化。QQ空间也和腾讯人工智能团队沟通,寻找科技解决方案。这次的图片语音即时描述功能,就用到腾讯AI Lab的技术。

  “腾讯AI Lab图片描述生成技术一般都是基于编码器—解码器框架。这一技术的难点在于设计出能够充分理解图像内容的模型,进而将相应编码的图像内容再‘翻译’成自然语句。”腾讯AI Lab技术人员解释,这样的模型不仅需要深度理解图像,也需要理解自然语言,更重要的是学习图像与自然语言之间的多模态交互关系。

  要真正落地,技术还要应对一大难题,那就是用户上传的图片具有高度多样性。他们发星辰大海,也发生活中的细枝末节。由于图片题材广泛,腾讯AI Lab技术人员坦言,有时图像的自然语句描述不会特别精确。“这需不断积累数据,不断提升算法的性能,两者互相促进,提升算法精确度。”

  为无障碍锦上添花

  其实就在几年前,对国内互联网公司来说,“信息无障碍”还是个有些陌生的概念。

  当时,科技日报记者曾采访现在的信息无障碍产品联盟秘书长梁振宇。他表示,对互联网产品团队来说,每个问题都有优先级。“无障碍优化”这一看起来有些小众的需求,有时就被放在了一旁。

  “这两年,社会各界对信息无障碍的关注都在提升。”刘彪介绍,信息无障碍研究会和百度、腾讯以及阿里旗下的多款产品都建立了合作关系。至少,现在主流的互联网公司都知道何为无障碍,有条件的,也愿意为此努力。

  QQ空间产品团队就表示,在信息无障碍技术方面,手机QQ空间从2014年开始,持续在好友动态、消息、个人主页等核心场景优化体验,并把信息无障碍作为每一个功能发布的必备特性,坚持每个版本解决一些问题,并从内测阶段即邀请视障用户参与产品测评,再根据反馈的建议和意见,持续进行版本优化。“让QQ空间更好地服务障碍用户,为障碍者提供舒适的社交体验。”

  要做到信息无障碍,其实并不需要前沿什么技术。刘彪介绍,开发者了解用户需求并按照一定规范进行APP的设计开发,产品就能实现“信息无障碍”,从而造福广大视障用户。而人工智能,则可以锦上添花。

  “语音输入让我们的输入效率变得更高,OCR文字识别让我们能够‘认’出药瓶上的字。那些改变你们生活的应用,也提高了我们的生活质量。”刘彪也在用智能音箱等智能家居产品。“我们以前用空调、洗衣机等家电时,是靠记忆来按按钮,有了人工智能技术,可以进行语音控制,也省去了这些麻烦。”他提醒道,“有些智能家居有手机APP操控功能,这些APP也要注意进行无障碍优化。”

看天下
[责任编辑: 石月 ]
发言请遵守新闻跟帖服务协议
精彩视频
版权声明:
联系方式:重庆华龙网集团有限公司 咨询电话:60367951
①重庆日报报业集团授权华龙网,在互联网上使用、发布、交流集团14报1刊的新闻信息。未经本网授权,不得转载、摘编或利用其它方式使用重庆日报报业集团任何作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:华龙网”或“来源:华龙网-重庆XX”。违反上述声明者,本网将追究其相关法律责任。
② 凡本网注明“来源:华龙网”的作品,系由本网自行采编,版权属华龙网。未经本网授权,不得转载、摘编或利用其它方式使用。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:华龙网”。违反上述声明者,本网将追究其相关法律责任。
附:重庆日报报业集团14报1刊:重庆日报 重庆晚报 重庆晨报 重庆商报 时代信报 新女报 健康人报 重庆法制报 三峡都市报 巴渝都市报 武陵都市报 渝州服务导报 人居周报 都市热报 今日重庆
关闭
>>