作业帮副总裁罗亮：在直播课背后有怎样的底层支撑？

　　多知网4月21日消息，在腾讯教育主办的第二届MEET教育科技创新峰会上，作业帮副总裁罗亮发表了题为《数字化助力教育普惠》的演讲，在演讲中，罗亮拆解了作业帮各个业务的技术攻坚，也提到了对未来技术的展望。

　　在拍照搜题领域，罗亮提到，经过6年自主研发，我们建立一套完整的流水线，其中包含了30多种神经网络，每一次拍照经过260次的推算，200毫秒之内找到题目解析。每分钟响应超过上百万的搜题。

　　在直播课方面，2020年作业帮春季免费直播课，总的人次超过3300万，公益课名家讲堂学生超过2300万人次，推出了高考解析直播课，观看超过了2100万人次。

　　在罗亮的讲解中，在直播课背后技术支撑包括：音视频网络分包问题;通过AI技术帮助实时分析学生上课状态;通过视觉AI技术进行专注力监测等。

　　在课堂中，为提高学生的参与度，作业帮通过AI技术做了很多交互体验，如手势识别的功能，再如语音弹幕增加交互形式。

　　根据罗亮介绍，针对辅导老师的工作效率问题，作业帮也做了相关的系统。

　　对于未来，在罗亮看来，无论是AI、大数据、5G、AR、VR技术的应用，这些技术目前改变了行业和产品，还有一些技术需要更多的尝试和创新，我相信整个社会的进步和行业的进步，一定是基于技术上的突破，让过去不敢想的事情真正落地下来。　　

　　(作业帮副总裁罗亮)

　　以下为罗亮演讲实录（经多知网编辑整理）：

　　各位领导、各位嘉宾，大家下午好!

　　我是来自作业帮的罗亮，我负责研发体系，我现在给大家分享的内容是“科技助力在线教育普惠”。

　　当前，整个中国有1.97亿的中小学生，其中70%在三线及以外城乡地区，而正是这个大多数群体才更需要好的老师、好的内容、好的环境，满足教育上的需求。

　　如果作业不会做，有问题不会，唯一渠道就是找同学、找老师，在三四线城市可能有些题目同学也不会，家长也不会，求助无人，作业帮就是解决学生在这种学习环境下求助无人的状况。

　　到今天为止，作业帮累计激活设备超8亿，每月用户1.7亿。今天我将主要分享作业帮的产品，以及背后的技术。

　　工具产品让学生随时随地有“AI老师”

　　作业帮第一大技术是作业帮APP拍照搜题，让学生随时随地有AI老师的产品，目前来说作业帮作为教育工具类的产品，是唯一进入全网TOP30的教育类APP，每月活跃用户数过亿，积累了超过3亿的题库。

　　做这样一个产品，其实解决的是用户的需求场景，有问题不会，通过拍照给你答案，并且告诉你这个题怎么解析，以及解析完根据知识点薄弱情况，掌握学、练、巩固的过程。

　　作业帮从2015年第一个1.0产品以来，我们一直持续做一件事情，拍照搜题，本质上是由文字识别、题目解析、版式分析、题目搜索、题目理解，发展由若干个系统，解决学生各样问题的体系。

　　在这个过程中，我们遇到非常多的技术挑战，特别在文字识别是我们第一道拦路虎。经过六年的技术创新和数据积累，作业帮拍搜业务目前已经是一个结合了神经网络，集群化的识别引擎。其中包含了30多种神经网络，每一次拍照经过260次的推算，200毫秒之内找到题目解析。每分钟响应超过上百万的搜题。

　　这是学生拍上来的真实的图片，可以看到图片是倾斜的，内容是不完整的。在这个过程中，通过解决用户的问题，让AI变得越来越好，解决越来越多的问题。

　　到2020年疫情的时候，用户的场景出现了一些新的变化，因为在家上网课，用户拍照的照片发生了变化，有很多用户拍的题是拍的电脑题目，这个时候对我们的挑战又来了：屏幕的反光很严重，并且会有频闪、摩尔纹等问题，这样又提高了识别难度，要进行大量的优化，使文字清晰地识别出来。

　　到今天为止，产品体验和技术手段在不断进步，过去是拍一张图片，今天是拍整张试卷帮你把所有题搜索出来，搜集每一道题的解析，不再有不会做的难题。

　　直播课两大法宝：自建系统和AI

　　作业帮第二块产品是直播课，过去通过互联网、通过在线教育打通的是空间的限制，把优质的老师资源、内容分发到三线及以外的城乡中，去年社会教育发生重大变化，作业帮做了一个春季免费直播课，总的课次超过3300万，也推出了公益课名家讲堂，学生超过2300万人次，推出了高考解析直播课，观看超过了2100万人次。

　　疫情把在线教育推上了风口浪尖，上好每一堂课背后有大量的人力、物力支持，没有任何的准备，我们就硬着头发上，在春季免费直播课的战绩当中我们扛住了压力，没有出现过宕机等重大的事故。

　　其实直播课技术在我看来有两大技术的底层支撑，一个是技术本身，解决的是音视频网络分包问题，作业帮通过自研一套ZRTC的技术解决直播课音视频的传输，作业帮在全国有超过11个分部，学生分布在天南海北，通过双师班，小组内进行交流，并且跟主讲老师分布在全国不同的地方，一个学生在新疆，一个学生在北京，老师可能在合肥，其实这样三个节点的通信发生了全国的在线会议，这个对我们来说是很大的挑战，我们用了一年的时间，跟腾讯云建立了一张分布到全国，并且保证时延稳定的音视频分发网络，建立场景、服务如此庞大复杂的直播课体系，中间有非常多的技术挑战。

　　作业帮本身从原来单一的体系，变成多元的体系，背后有非常多的技术挑战和应对过程。

　　除了音视频直播技术，还需要提供AI技术，来赋能主讲老师、辅导老师、学生本身，帮老师实时感知和分析学生关注状态和上课状态，通过面部表情对学生上课情况进行分析。在上课过程中有大量的辅导老师，一个名师同时面对200个学生，观察自己小组的学生，听课状态是不是认真，是否在电脑面前有互动参与，我们通过AI技术帮助辅导老师提醒学生专注情况，就算一个老师一堂课有数百个学生，也可以帮助他们更好督促学生上课，或者学生有不懂的地方记录下来，帮助他课后解决问题。

　　通过视觉AI技术，专注力监测，我们可以提醒他的家长需要认真听课。另外他们也很担心在线直播课，坐在屏幕面前视力会不会受影响，通过对学生眼睛、面部跟电脑距离的测算，我们能做到及时提示学生不要离屏幕太近。

　　在直播课堂当中，我们通过AI技术做了很多交互体验，自己做了手持识别的功能，面向低年级，其实我们发现在课堂上面通过视觉技术用手势进行交互，参与度有非常大的提高。大量视觉技术的应用对算力是非常大的挑战，我们现在是云端整合方案，很多计算是放在用户终端上进行边缘计算，还有放在中心服务器进行计算。低年级小朋友非常喜爱，参与感非常强，整个教学效果也得到了提升。

　　语音技术应用中，老师发一个题，同学们参与互动，语音弹幕增加交互形式，在英语学科，需要用户反馈的课程是非常有用的。这样的交互也可以让老师迅速通过语音识别技术，把这些反馈汇总到老师，老师根据时时汇总知道讲授情况如何，需要把哪些知识点再讲一遍，为了模拟教学场景，一个小组多个学生的集体发言，在这个过程当中遇到背景噪声、声音回传带来的影响问题、干扰问题，通过AI技术把这样的场景变得可行。

　　除了在课堂当中教学环节通过技术赋能，对于教研来说，我们也做了很多改善，为帮助教研老师筛选出来更符合教学的题目，我们为老师提供了一整套题库产品，也帮助老师在整个试卷配套材料当中起到一定作用。

　　目前来看在线直播课辅导老师的服务，在我们看来是教学过程中最重要的，学生大量的需求是在课堂之外课后作业、疑难问题的解答，辅导老师角色所需要的，除了课堂情况汇总，另外也要把各种学生上课交互数据给辅导老师进行分析，让辅导老师根据学生的情况、个体的特征跟家长或者跟学生进行沟通，有针对性提高这个学生的学习效果。

　　持续探索教育场景的技术升级

　　除了进行自身的技术建设外，在技术方面有几项是跟腾讯云合作的，体量最大的服务就是拍搜业务，大家也知道当前的AI技术是依赖于大量的算力和数据来构成的，要提升效果加服务，就要把模型做的更复杂一些。但是这个过程中考虑的问题非常多，机器规模增加带来架构的复杂、时延的增加以及运维的困难，对我们来说都是最大的挑战。

　　自2019年合作开始，通过业务服务、GPU等的云原生改造，实现了实时弹性、可观测、韧性、自动化、可持续等特性，极大的提升了整体运维效率和服务稳定性。

　　而在直播课方面，作业帮的老师分布在11个分部校区，而学生分布在全国各地，如何让天南海北的老师和学生开展线上的实时教学互动，这涉及音视频的编解码、传输、网络路由、终端适配等一系列技术点。我们和腾讯云一直在进行共同研究，针对在线教育公司的场景，建立一个行业技术解决方案。

　　此外，在大数据方面，我们每个月增量在5、6PB，这个数据已经是幸福的负担，要解决计算的成本，还有解决时效性，对我们来说是越来越大的技术挑战，这块跟腾讯云深度进行合作，无论是说EMR或者是COS集群，当中技术挑战都是很大的，在过去一年跟腾讯云一起深入研讨，深入合作，然后把这个解决方案真正应用到生产体系当中。

　　最后一点讲一下未来的展望，大家关注到这一点，无论是AI、大数据、5G、AR、VR技术的应用，这些技术目前改变了行业和产品，还有一些技术需要更多的尝试和创新，我相信整个社会的进步和行业的进步，一定是基于技术上的突破以后，让过去不敢想的事情真正落地下来。在这个过程当中技术在环境里面真正起到关键作用，因为最终的教育理念是因材施教，技术在这一点起到决定性的作用。

　　做到因材施教，想起来很简单，做起来实在是很难，如何量化一个学生的学习效果，怎么找出中间的关键效果，如何提供有针对性的教学方法，这个是值得我们深入研究，不光技术要提高，教学、教研、服务都要设计和研究事情。

　　随着在行业不断发展，以及技术不断进步，我相信这一天会来的，在不远的未来，有很多教研的产品和形式，真正帮助我们把在线教育做的更大更好。

　　这是我今天的分享，谢谢大家!