谷东科技许志刚：“AR+AI”眼镜走向全民可用仍需时间，小团队入局可做生态或内容

　　来源|多知

　　整理|王上

　　近日，多知举办了多知OpenTalk第49期活动《AI答疑笔、AI玩具、AI眼镜……共话智能硬件的未来图景》，并发布了新书《教育科技这一年：教育+AI新元年》。

　　在活动中，谷东科技产品解决方案部总经理许志刚作了主题为《学习无界，AR+AI技术在教育中的应用与展望》的分享，并回答了现场观众的提问。

　　谷东科技是一家专注增强现实显示(AR)与技术的公司，致力于解决AR行业中光学显示及空间计算的技术难题，自建高精度纳米级全息光学实验室。谷东科技目前主要to B，其AR眼镜产品已经应用在远程协作、教育培训、巡查监管、售后维修等场景。

　　许志刚对AI和XR等创新技术产品为普教及企业职教领域的赋能，有着深厚的积累及实践经验。他在演讲中提到，AR技术并不具备颠覆性的改变，需要与“AI+5G+物联网”技术协同，共同造就下一代移动终端，从当前科技树发展趋势来看，眼镜仍是最好的载体。

　　许志刚在现场提到，下一代移动终端的发展路径跟其他电子产品类似，先应用于行业端，才有可能走向大众。这也是谷东科技首先to B的原因。在他看来，AR+AI眼镜目前还处于早期阶段，走向全民可用可能还要时间，短期还是无法做到像手机一样的规模化普及。

　　许志刚认为，当前，研发“AR+AI”领域的应用是一个不错的入局机会。就如同当年智能手机爆发时一样，在满足用户基本通信诉求的情况下，通过几款好玩、好用、易用的内容应用，增强用户对产品的黏性。在这个阶段，小团队如果入局，不要盲目拼硬件，而是思考如何与各类硬件做内容性的适配，推出现象级的APP。

　　从行业应用来说，以教育领域为例，AR眼镜是一种新的教与学的方式。目前，谷东科技AR眼镜主要应用于职业教育领域，帮助学校解决当前实训“不可见、难体验、难复现”的实验内容和问题。

　　后续，谷东科技可能在今年的三季度到四季度推出个人用户端的眼镜形态产品，融入大模型做全面化的应用，去实现好用、易用和可用的下一代移动终端。

　　未来，在许志刚看来，随着技术的发展，“AR+AI”眼镜能够普惠到生活的方方面面，真正成为生活的助手。

　　多知新书《教育科技这一年：教育+AI新纪元》将于近日发售，更多AI+AR眼镜内容，可参看《AI+AR眼镜，教育行业下一代全新载体？》章节。敬请期待！

　　以下为许志刚演讲实录（多知整理编辑）：

　　谷东科技是一家以专门做AR为主的公司，所涉及的业务第一，做AR最为核心的显示光学模组以及相关的材料。我们也是希望通过模组以及材料的开发，能够真正的把整个XR或者AR这种产品的价格能够打下来。同时为大家提供视场角更大，透光度更好，显示的对比度更高的一些产品；第二，做AR整机，如AR眼镜；第三，做AR很核心的一部分——大模型。我们认为大模型未来会和AR一起搭配，为生活的方方面面提供智能服务。就有点像是《钢铁侠》电影里面的贾维斯，它能够解决很多难题，提供生活上的帮助;第四，因为我们是一个B端类的公司，所以说我们会面向企业会做相关的软件的产品。

　　01

　　“AR+AI+5G+IoT”将造就下一代移动终端，眼镜是最佳载体

　　这两年大公司也在入局“AR+AI”，包括苹果公司、Meta和OPPO等。原因是如果当前的技术没有颠覆性或者突破性的创新的前提下，“AR+AI大模型+5G+IoT（物联网技术），会造就下一代的移动终端。

　　一方面是我们整个智能硬件产品的需求演化。

　　作为一个用户来说，往往是比较贪心的，是希望既要又要还要。在这里，“既要又要还要”不是贬义词汇，它是推进科学技术发展的条件。所以，最早我们需要去做大量的运算的时候有了台式电脑，但是很快发现它不便捷;我们可能希望在更多场景下使用，所以后来出了笔记本，但是笔记本还是不够方便。所以后来演化出了两类产品，一类是智能手机，一类是平板电脑。但是平板的运算不如笔记本，便携又不如手机。所以说往往大家对于平板电脑开玩笑叫做“买前生产力，买后爱奇艺”。平板产品有它的优点，但是应用的场景不够丰富，我们现在更多还是使用智能手机。

　　但是手机也存在一定的局限性，随着信息的增多， 我们希望能够通过手机获取更多元化的信息或者图片内容，导致当前移动设备的发展又面临两个选择。

　　第一个就是折叠手机，例如两折叠、三折叠，甚至阔折叠，各种各样的折叠式产品虽然满足了多内容的显示需求。但是这种折叠类产品还是会存在便携性的问题。因为受到厚度、宽度等物理尺寸影响，太多折的设备对于男士的裤兜来讲，不太方便携带，所以说它有可能是一个过渡方案。

　　未来，我们认为，未来AR眼镜有可能会获得更好的发展，因为它兼具了便携性和展示内容丰富性这两大优点。

　　第二，我们认为眼镜会是大模型的最佳载体，因为对于大模型内容的展示，最好还是通过屏幕展示。因为我们获取信息的习惯，还是遵循“眼见为实，耳听为虚”的行为习惯。

　　第二方面，人机交互的习惯，眼镜可以戴在脸上。它集合了听觉、视觉和说话整体的能力，它会更符合于大模型多轮的应答方式。大家的手机里面可能都有小爱同学或者是小艺或者是Siri，但我们一般很少会唤醒他们进行服务，面对屏幕时，基本还是会打开网页，打开百度，输入文字，然后再进行搜索。

　　第三方面是佩戴的习惯。我们希望它变得更轻便或者更便携。AR眼镜它可以让人把所有的内容都集中在头部，不需要额外佩戴一些设备，减少了使用者的负担。所以，AR+AI是未来非常好的展示载体。

　　02

　　“AR+AI”眼镜将是“教与学”的新形式

　　AR眼镜对于学习来讲到底有什么价值?

　　第一，它是一种全新的搜索模式，而且这种搜索模式符合人类的学习和认知天性。也就是说，孩子小时候在学习或者认知一个新事物的时候，比如看到一个陌生的东西，会问家长“这是什么?”家长告诉孩子“它是一个苹果，它是什么颜色，它是什么味道的”，通过这样的方式去帮助孩子构建整个认知体系。但是现有的基于搜索引擎的搜索方式，是具备一定的认知后，才能进行搜索，这与孩童学习知识的方式相违背。因此我们认为，基于AR所见即所得的认知方式，可以加速学习认知。

　　第二，它是一种全新的展现方式。它可以把比较抽象的文字的或者图片的内容，以直观的视觉模型、视频，甚至是互动型的内容展示出来，从而加强认知和学习的效果。

　　第三，它是一种全新的学习方式。因为纸质教材存在一定的物理边界，没有办法把一个知识点更深入、透彻的描述清楚。它只能把这些内容尽量的精炼，让大家去理解。但这样对于学习相对吃力的，或者对没有建立认知体系的学习者，是很难理解的。AR可以通过可视化的形态，配合多轮问答的方式把整个逻辑有效地呈现出来，激发学生自主学习和认知的兴趣。比如，孩子对火箭很感兴趣，火箭的运行原理是怎么样的?内部结构是怎样的?学生可以自己去反复地去认知背后的规律。

　　第四，它是全新的教学形态。可以把理论和实际去做一些融合。同时，可以一对一手把手帮学生提供实操或者动手能力。这在高校教育中比较常见，比如职业教育的一些实践课程，或者一些难理解的学科中。

　　

　　谷东科技基于对于各个行业或者教育的认知，会推出不同形态的产品。这款产品是我们当前主要面向于职业教育场景当中主要用的一些产品，主要是为了解决学生在动手实操过程当中不会做或者是不敢做的问题，以这样的一个可视化和流程化的教学手段，提高学生的动手能力。

　　

　　

　　

　　后续，谷东科技可能在今年的三季度到四季度推出个人用户端的眼镜形态产品，融入大模型做全面化的应用，去实现好用、易用和可用的下一代移动终端。

　　

　　03

　　“AR+AI”眼镜将在基础教育阶段发挥哪些作用?

　　面向基础教育场景的话，我们具体的做哪些事情？

　　我们可以通过AR的大模型解决如下问题：

　　第一，解决地域限制或者资源分配不均的问题，让优质资源触手可及。

　　第二，AR+AI可以激发学生的学习兴趣，解决学习动力不足的问题。

　　第三，通过虚拟的动手方案，去提升学生因为实践受限而无法去实操的问题。

　　

　　具体来讲，第一方面，通过可视化的方案，配合大模型，去提升教育质量、师资力量和课程设置的逻辑，从而实现优质的教育资源更普及。比如，有视觉大模型的加持后，学生看到了一道物理题或者数学题，通过拍照搜索，或者视觉搜索的方式，去给到学生相应的图文解决方案。从而让学生可以对课程有自主的认知。

　　第二方面，我们希望通过可视化的手段，去提高学生的学习兴趣。不管是工业的场景还是基础教育阶段都是可以去应用。比如，学习英文，或者是其他语言类的课程，以前可能缺乏语言环境，学生对眼前一些产品的单词或者物品的单词，是很难去理解和记忆的。但是现在可以通过AR+AI视觉搜索手段，比如“Laptop”这个单词，会给你搜出“笔记本电脑”图片，还可以多轮对话，后去相关关联知识，用多元化的手段去给学生去提供更好的一个学习环境。所见即所得、视觉+听觉的搜索学习模式，更符合人的学习习惯。

　　第三方面，交叉学科的融会贯通。基于仿真技术，配合AI的数理算法，通过场景化内容的构建，实现对于相关学科内容的整体认知与记忆。通过AR+AI，可以明确各类数理公式应用的方向与使用逻辑，以场景化、实验化的方式，加深学生对于知识的认知。

　　比如，如果学生不理解第一宇宙速度和第二宇宙速度学完到底有什么用，此时可以用“AR+AI”眼镜去模仿一个运载火箭发射的全流程，发射一个卫星，让它围绕地球旋转，可能需要的是第一宇宙速度;给它发射到月球，可能要用到第二宇宙速度。通过相关的这种理论知识，然后再配合各类数据构型，学生可以对知识内容进行直观化的理解。

　　第四方面，可以辅助开展实验。比如，化学实验，物理实验等。VR+AI可以通过模拟仿真化的手段，让学生在这种没有危险的情况下开展实验，比如锌和稀硫酸溶解后产生氢气，可以通过仿真实验来观察实验的各类现象。

　　04

　　目前“AR+AI”眼镜在职业教育应用广泛

　　谷东科技的AR眼镜在基础教育阶段应用目前相对较少，更多的还是在职业教育领域应用。

　　职业教育领域更多来说是偏向于动手或者实操，我们希望能够通过AR眼镜去解决以下事情：

　　当前实训，对于“不可见、难体验、难复现”的实验内容和问题，学生只能凭借自身进行记忆与理解，加之教师精力有限，无法对学生进行“一对一、手把手”的个性化指导，最终导致实训目标无法达成，课程改进缺乏方向。

　　对于学生，可以实现步步引导、规范操作、错误提示、对课件充分理解和加深记忆，从而提升学生的技能水平，提升他们的就业前景；对于老师，可以全面了解每个学生实操过程，自动提取每个学生的薄弱点，还能减轻他们在实操过程中监督的压力。

　　当前，谷东科技的产品在职业教育中应用的比较多的是：

　　第一，模拟实操演练。结合MR眼镜及交互式全息课程，构建全新的、可操作的虚拟实操课程。建立起理论知识与实践之间的一个桥梁，让学生有机会完成相关实训作业，同时也解决学校的实验耗材问题。

　　第二，虚拟考核评估。由于教师人数比较少，可能只能看到考核的结果是否正确，没有办法去看学生的操作流程有无疏漏。而AR眼镜可以结合操控顺序，实现对学生每一步流程的管理。然后，结合AI算法对学生流程和结果进行评估与考核，再基于大模型，分析了解学生常见错误与问题，从而辅助教师，进行课程的改进。

　　第三，引导式教学。比如我们和某校汽修专业的合作，学生戴着眼镜，然后去做整个车辆的一个维修实训。通过这样可视化的手段，辅助学生开展实训，解决了学生因为不清楚流程，出现的不敢做、不会做，或者说是胡乱操作等问题。

　　

　　第四，一对多考核监督。通过可视化的考核方式，可以让一个老师在大屏前同时获得多个学生的视角。降低监管的难度。

　　

　　05

　　“AR+AI”眼镜有望普及，成为生活的助手

　　未来，随着技术的不断成熟，AR技术有望普惠到生活的方方面面。比如，在产品价格降低，以及大模型技术成熟后，产品能够为残障人士提供相应的服务。比如，可以通过AR可视化的手段，加上大模型的文字转译能力，对话信息以可视化的方式呈现在听障人群眼前，让他们实现有效的交流。这个能力也适用于听力衰弱的老年人。

　　同样，针对视障人群，可以语音提示的方式去解决。比如，通过AR设备拍到用户眼前的场景，大模型对场景图片进行分析、解读，告知用户前面是红灯还是绿灯，盲道在什么位置，是不是有车辆的挡路等等。此外，在阅读的时候，也可以把拍到文字直接转成音频，然后去进行朗读。

　　对我们的生活来讲，AR+AI到底能够体现哪些好处呢?

　　

　　第一，智能化的终端导游。未来我们戴上眼镜之后去景区游玩时，不需要再找一个专业导游进行讲解。而是通过大模型配合数字人的方式，实现对历史古建，或者当地人文特色进行智能化介绍，提高游览的趣味性。

　　第二，可以是题词器或者。大会上的发言可以脱稿了，通过AI智能眼镜，完成演讲稿的提示。

　　第三，可以做同声传译的工作，比如用户到了国外，不熟悉当地的语言，通过AR眼镜同声传译的方式，可以快速理解对方要表达的内容。

　　第四，会议记录或者说是实时提词器，它能成为用户的会议搭子，开会时进行内容的同步录制以及会议纪要的快速生成。

　　第五，可以作为一种导航方案，实现实时导航，且在导航中，随时记录周边的美景。

　　第六，也可能成为未来的社交新方案。比如用户游览了故宫，在这个地方拍了一张照片，然后发了一条空间弹幕，十年后再来，用户可以看到之前的影像信息。

　　AR+AI的能力，还可以为我们的生活场景赋能。比如，今天我要去参加一个活动，我把我本次活动的主题进行描述，AR眼镜通过扫描衣橱，会自动生成建议，告知我要如何搭配服装。另外也可以针对今日穿搭，给女士们一些妆容建议。