“AR是AI最好的载体,而AI可能是AR最好的交互方式。”

Rokid“放不下”教育

2024-11-18 21:09:03发布     来源:多知    作者:Mint  

  多知11月18日消息,今天下午的Rokid新品发布会、也是十周年现场,Rokid创始人兼CEO祝铭明强调,AR就是AI。

  这也是其后新品 Rokid Glasses的推出原因。

  

  据介绍,全新的 Rokid Glasses具备“好眼镜、好耳机、好相机、好助手”等功能。至此,更多的AI能力被搭载到眼镜之中。包括实时AI问答搜索,拍照即可拍搜解答问题;AI多语种翻译;实时消息提醒等。

  不过,相较于能为眼镜搭载多少科技, Rokid绕不开的难题一直是内容生态不够丰富;受限于语音识别、图像识别等技术,AR眼镜的应用场景主要集中在游戏、观影等场景。

  同时,如何进入更多教育场景、走到更多的家庭与青少年身边,也一直是Rokid在思考的。

  此次活动现场搭建了爱奇艺、网易有道、叮叮、vivo、佳明、暴龙等品牌的展台。这些品牌都与Rokid建立深度合作。其中有一些合作尝试,已经渗透到日常的学习、参观展览等场景中。

  在英语口语练习场景,Rokid与网易有道Hi Echo正式合作——用户戴上Rokid AR Lite,打开Hi Echo软件,即可进入一个私人订制版的虚拟学习环境。

  

  “当你不好意思跟别人去进行英文的对话和练习的时候,它会用模拟一个场景和人类进行对话,这个将改变很多语言的学习的习惯,因为对中国人很多中国的孩子,包括成年人,他其实不大敢去跟一个陌生人或者海外的朋友进行对话,有了这个产品,你可以很轻松的在自己一个的环境里面很大胆的来进行练习。”祝铭明在现场解读。

  具体到使用过程中,打开应用,Hi Echo的界面会悬浮在空中。

  此时,展现在用户面前的是各种英语学习模块以图标和动画形式展现,可以直接选择开始对话,也可以选择模拟场景。

  区别于手机端,戴上眼镜让对话场景更加沉浸,在听觉、视觉等方面让用户感受到英文对话正在现实中发生。

  而随着对话的深入,Hi Echo会随时根据用户的回答和反应实时调整对话的难度和内容,当遇到不理解的单词或短语时,用户轻轻一点,Hi Echo就会立即提供详细的解释和例句。

  在使用过程中用户也可以直接用中文说出心里所想,Hi Echo将翻译成英文。

  至此,通过AR眼镜,学生可以身临其境地参与到虚拟的实验、场景和课程中,让学习变得更加直观和生动,Rokid AR Lite与Hi Echo的软硬结合也为AI口语练习在便携场景下带来了一种新的尝试。

  AI的定制化、互动性、智能性通过AR设备发挥其最大的优势,还通过AI+AR的融合兼顾用户的使用体验,创造了沉浸式的英语学习新体验。

  

  英语学习场景外,博物馆参观也是常常被提及的场景。

  在活动开始前的官方推文中介绍,Rokid AR眼镜中的摄像头与通义千问的多模态识别能力已经融合。

  目前,通义千问支持视频、图像、文字和语音等多种内容输入,而通过快速识别摄像头捕捉到的物体或场景,通义千问能够进行分析判断,并通过语音或视觉反馈为用户提供相关信息。

  由此,在参观博物馆时,用户只需将目光投向展品,通义千问就能立即提供该展品的历史背景及相关知识介绍。

  

  在旅行途中遇到不认识的植物或动物时,用户同样可以通过这种方式轻松获取信息。

  通过AR眼镜内置的拾音麦克风,通义千问可以将外语迅速转写成中文文本显示于眼前,实现即时翻译的效果,无论何种语言的对话都能被迅速转录成中文文本显示出来。

  此前Rokid的AR导览业务已合作200+展览博物馆,覆盖全国99%的文博场景,并与奥特曼、大闹天宫等知名IP展开深度融合。

  以AR+IP为例。

  今年6月,长沙吉联MALL购物中心的孩子们通过Rokid AR眼镜进入光之英雄的世界。戴上Rokid AR眼镜,孩子们就可以化身奥特曼,与六位奥特曼兄弟成为同伴,通过手势交互和怪兽决战。

  同时,他们还可以在家长的陪伴下,用AR拍照功能,拍下自己使用“斯派修姆光线”打败“小怪兽”的样子……

  “AR是AI最好的载体,而AI可能是AR最好的交互方式。”Rokid官方曾说道。至此,Rokid再进一步。