音乐笔记主要的做的是以技术驱动的在线钢琴服务。

音乐笔记CEO闫文闻:用AI重构钢琴教学场景

2017-12-17 17:02:07发布     来源:多知网    作者:Alice  

  ​多知网12月16日,在2017ACE素质教育行业峰会上,音乐笔记的创始人兼CEO闫文闻分享了在人工智能技术下,钢琴陪练机器人和共享教室的实际运用情况。

  以下为闫文闻的分享内容,经多知网整理:

  音乐笔记主要的做的是以技术驱动的在线钢琴服务。

  我们是一个从技术领域去切入到音乐教育的典型公司,主要逻辑是将人工智能技术与真人的服务相结合,把机器人或传感器放到一个特定的垂直的应用场景里面,让其替人去做最基础的判断,达到高度整合数据,提高人的工作效率的目的。

  音视频算法的本质功能,即瞬间对用户行为进行判断与反应,包括在毫秒内判断用户触键键位、按键时长甚至进行单音的识别等等。

  在钢琴学习“找错”或“标记”这件事上,机器现在已经比人做的好。

  机器在平均1.5-2秒之内将自动建立一个模型,对键盘的每一个键、每一个位置进行精准切割。通过自动化的标记、自动化的判断,机器会自动产生的决策。同时机器通过先前的感知与决策来判断演奏的对错和演奏的情况,直接反馈到通俗易懂,能被使用者理解的曲谱的谱面上。比如红色的是音准的错误,黄色是结构的错误,基本上可以细化的标注到每一个音符。同时,演奏的音视频内容对应到每一个小节、每一次触键,都由算法做好了精确的切割。所有演奏的音示范的曲谱都可以精准的演奏音视频,是最基础的升级版的DVD。

  当一个孩子日常的练习曲子,平均在20秒或者是一两分钟。没有人能够去一直盯着孩子,关注孩子演奏的状态。

  在行业里,重复性的劳动首先应该交给机器,机器不会介意做最琐碎的脏活累活,并且现在机器做这类型的工作比人更得心应手。

  音乐笔记后台有300多万条演奏音视频的数据,样本也是通过300多万条的标注去实现的,目前识别精度超过了99.5%以上。

  基于核心技术,我们有最直接的硬件产品——陪练机器人,陪练机器人最主要是对音准和节奏的实时的反馈、对错的反馈,精度达到了99.5%以上。

  陪练机器人产品,可以为整个行业提供最基础的功能,可以让任意钢琴,包括电钢琴、原生钢琴,变成智能钢琴。

  教钢琴和教K12的其他的学科不一样的,钢琴教学要同时看到孩子的脸和手、键盘。做远程教学时,钢琴教室对传输的要求高,对音色、声音还原有更高级别的需求。

  基于同样的硬件,我们又有了在线教室,可以让任何一台琴瞬间可以上网。

  音乐笔记的在线直播的钢琴课,有三个主要的元素,真人老师、机器人的老师、直播的在线教室。

  课程产品主要是两种,第一是四对一的陪练产品,第二是和中国人保一起推出的“考级效果保险”。

  “四对一”是四个老师对一个学生,四个老师包括授课老师、班主任老师, 7×24小时陪孩子的机器人老师,还有通过互联网、直播教室去联系到全球的名师。

  在陪练课程服务里面,能够通过机器人的辅助以及人的参与,全程将孩子练琴这件事的数据采集上来,并透明化、实时的给家长进行传递。因为有全程的孩子的练习数据,所以我们也很荣幸的跟中国人保去推出基于数据的效果险。如果平时对着机器练习效果不错,但是考试没有发挥好,人保会赔偿全额学费。

  我们觉得技术应该是开放的。最近,珠江钢琴做了云学堂的发布会,也是围绕我们这套核心的技术和核心产品建立起来的,我们也希望通过和珠江的合作方式,能推介给整个行业,用AI技术赋能整个行业的互联网化发展。

  合作方式非常直接,第一,在线教室,通过把一部分课程改到晚上,减轻琴房的负担。第二,陪练机器人,与大家合作做机器陪练课,商业模式会更优一些。