来源|多知网
作者|冯玮
图片来源|科大讯飞
科大讯飞在今天宣布推出星火认知大模型V2.0版本。
这场升级是讯飞在提升通用能力的基础上,重点突破代码能力和多模态交互能力后,面向老师、学校、企业等场景落地的又一次尝试。
简单概括此次两大能力:
代码能力包括代码、补齐、纠错、解释和单元测试生成,讯飞在现场推出智能编程助手iFlyCode 1.0。
科大讯飞董事长刘庆峰介绍,讯飞星火V2.0代码能力实现大幅度提升,从业界参考测试集上的效果对比来看,星火V2.0基于Python和C++进行代码写作能力已高度逼近ChatGPT,差距仅为1%和2%。
刘庆峰强调,今年10月24号其各个代码的能力都会超越ChatGPT,实现中文超越、英文相当;明年上半年有望正式对标GPT-4。
多模态能力则包括图像描述、理解、推理、识图创作、文图生成、虚拟人合成,同时还有新推出的讯飞智作2.0。
聚焦到教育领域,刘庆峰介绍了星火语伴2.0,可实现基于各种主题、场景的口语陪伴老师;星火教师助手,可理解为升级版智慧课堂;学习机还新上线了AI编程空间、AI创意画版两个功能。
同时科大讯飞还借着星火2.0版本发布的契机,宣布与华为共同设计推出星火一体机。
……
从5月6日首次对外展示至今,科大讯飞星火认知大模型到此刻刚好100天。
100天的变化与迭代,星火正在为教育场景带来哪些新的可能?
01
星火的“教育数字基座”
提到两大能力升级所带来的变化,发布会开始刘庆峰先介绍了一组数据:文本生成能力提升72%、语言理解能力提升78%、知识问答能力提升70%、逻辑推理能力提升60%、数学能力提升72%。
科大讯飞研究院院长刘聪同时以星火的文本生成和数学能力为例,对星火V2.0进行展示。
文本生成演示环节,星火基于科大讯飞5月和6月的活动写了一段欢迎词。
刘庆峰介绍,与5月份星火写奥特曼、孙悟空来到现场参加发布会、6月份结合高考模拟家长给孩子写信不同,星火的最大升级在于可以回顾过往内容写出新的、更详实的欢迎词,以及在内容写作上更加有理有据、言之有物,不再泛泛、通用地介绍。
刘聪同时展示了星火的数学能力,问题中涵盖了三角函数、方程、等差数列等多个知识的运用和衔接。
这也是少有展示数学能力的大模型。
刘聪结合电影《长安三万里》对星火进行了提问并追问:是否了解“与尔同销万古愁”的出处及全诗——解析其中的“天生我材必有用,千金散尽还复来”——写一篇范例作文用到这两句话。
可以看到在这三类问题中,星火的回答都很流畅,同时也给出了比较详实的内容。在新的对话模型下,用户甚至可以给星火大模型设置人设,基于情境、情感进行对话。
……
刘庆峰总结指出,“代码能力是支撑认知大模型智慧的关键维度”,其关键在于:代码数据能提升认知大模型的智慧,代码能力是链接数字世界的有效手段,代码能力将大幅降低数字经济的创业门槛。
“代码是一个硬碰硬的能力,不存在任何主观评分的标准,所以它也应该被当成是大模型聪明程度的非常重要的标志”,刘庆峰总结。
“当你对应用场景足够的有深度的认知时,你就可以去创业,而不需要个个都是编程高手,这将极大降低开发者的门槛,提升开发者效率、降低创业的成本,这代码能力是大家国内外都非常关注的能力。”
基于此,星火在外界对代码最需要的五个维度上进行了升级和全新的提升。
分别为:代码生成、代码补齐、代码纠错、代码解释、单元测试生成。
基于讯飞星火认知大模型打造的智能编程的助手iFlyCode 1.0应运而生,其将星火认知大模型的代码能力融入集成开发环境,并为用户提供专业的代码知识服务。
刘庆峰表示,iFlyCode 1.0在内部测试时,代码采用率达到了38%,编码效率提升30%,综合效率提升15%。
在会上,科大讯飞还展示了iFlyCode 1.0可以实现代码的编写,并在运行Python环境的电脑中运行。
刘聪现场展示画红色的心形线、画出马鞍面方程三维立体图并设置渐变色,此时的系统不仅能实现简单的编程,此外还能进行编程绘画,甚至可以进行自动化的视频编辑,创建一个贪吃蛇小游戏……
在具体的行业应用上,刘庆峰也以教育为例,进行了展示。
讯飞星火“教育数字基座”基于模型提供的代码能力,提供了自然语言的交互式应用开发助手,让教育工作者可以极简完成学校个性化的应用搭建。
整个开发周期从17天降低94%至1天,投资成本也从15万降低90%至1.5万元。
在现场的展示视频中有这样一个案例:
学校在管理数字化转型中个性需求逐渐增多,以往通过信息化厂商进行应用的定制开发,从需求设计到到测试上线,往往耗时数月且投入较大。
通过星火赋能的应用开发助手,0编程经验的老师就可以通过语音搭建学生离校请假规范模型。
再来看下这场发布会的第二个重点升级——多模态能力。
02
生成有旁白、有音乐的儿童故事
“多模态能力是赋能行业的刚需,也是实现通用人工智能的必经之路。”刘庆峰在发布会上强调,“多模态能力是讯飞既定的人工智能技术长期战略”。
目前,讯飞的多模态能力也已广泛应用在教育、医疗、工业、汽车、机器人等领域。
刘庆峰介绍了讯飞星火认知大模型V2.0带来了多模态能力提升,包含图像描述、图像理解、图像推理、识图创作、文图生成、虚拟人合成等功能。
提升后的多模态能力可以从真实世界获得越来越多的数据,在产品终端有学习、训练和提升,包括更柔性更自主的工业机器人、更好的自动驾驶、走入家庭的陪伴机器人等。
刘庆峰也再次强调将在今年10月24日对标ChatGPT,实现中文超越,英文相当的水平,明年上半年或将正式对标GPT-4。
刘聪在现场展示了讯飞星火的一系列图像能力,同时推出讯飞智作2.0,进一步降低短视频制作的门槛,满足更多元的视频制作需求。
这其中包括可以生成关于图像内容的相关描述,同时可针对图片进行多轮对话,回应提问,甚至基于图片内容生成对应的朋友圈文案。
以刘聪在现场的举例来看:
根据图片内容,星火给出了自己的解读,其中有天空湛蓝、湖泊宁静的形容,有对SUV、车轮占满泥土的细致描写,以及给人平静感觉的情绪形容。
在家庭场景的画面中,星火在介绍温馨场景的同时,对各个家具也有具体介绍,包括灰色沙发、咖啡色桌子,一只猫棕白色,绿色植物等。
面对绿色盆栽的追问,也给出了更具象的回答和信息,星火V2.0基本可以对图片上不明显的实物识别清楚。
甚至连“北极熊在北极,企鹅是南极”的脑筋急转弯也快速识别,没有被“绕”进去。
发布会上,刘聪介绍了星火针对儿童群体所推出的有声故事绘本功能。
在这个功能下的具体流程为:
1、星火可以根据指令,识别图片上的内容生成故事;
2、生成文字故事后可以直接朗读,同时可以以不同的声音区分不同角色,旁白、主人公的声音各不相同。
3、整个故事演绎过程中,可以配上音乐。
“这也是我们在多模态的合成表达上又一次非常重要的升级”,刘聪总结道。
在中文理解方面,讯飞星火认知大模型V2.0也在现场生成了如“关羽骑摩托车”“山重水复疑无路,柳暗花明又一村”等词语作画任务。
图片外,讯飞星火认知大模型V2.0还支持生成带有虚拟人的视频,用以节省请真人拍摄产品等宣传片的成本。
最后,科大讯飞还推出了多种风格的绘画小助手,可与所有用户进行共创与推广。
讯飞智作2.0的升级,在刘庆峰看来,将为企业宣传、产品出海、各领域博主的不同需求提供全新的能力。
03
星火语伴2.0:可以模考的口语老师
6月9日科大讯飞星火语伴App上线,其曾是在星火认知大模型V1.5版本的加持下将此前的AI口语助手正式升级的一款App,可实现 1 对 1 口语陪练和随身翻译。
多知网曾在第一时间下载体验了Android版的星火语伴App,当时App支持9种语言文本、语音和图片翻译。即便输入错误语法的语言,该App也能识别并纠正;支持中英文混合输入。
此外,星火语伴App还可以根据用户自身情况设置难度,非常适合练习口语和语言翻译……
此次的发布会上,讯飞推出了星火语伴2.0版本,升级变化也更加精细化。
在口语模考模块,星火语伴提供同学、考官两种虚拟人形象。
对话内容支持大学英语四六级、雅思、托福的口试环节模拟考试,并在模考结束后进行智能评价反馈, 帮助考生解决口语痛点,为广大考生提供智能、精准的模考服务。
据了解,科大讯飞的智能口语评测技术已在中考、高考、大学四六级等英语听说考试中大规模应用。
在情景对话模块,系统提供了18种可选情景作为基础练习。用户可以在预设的主题中进行对话训练,还可以根据自己的喜好进行自定义的对话训练。
自定义话题可以是图片、文档等多种形式。
用户可选择自己感兴趣的图片上传,星火语伴基于图片理解技术生成内容,过程中用户可以和星火语伴针对相关内容进行中英文对话,紧扣主题的同时也可发散更多内容。
针对文档,用户在拍照上传任意页面后,星火语伴则会基于文本语义识别技术提炼摘要,并围绕该内容进行提问。
用户在问答过程中既可以考察自己对文本内容的理解,也可以提升自己的口语水平……
刘庆峰在最后强调,这款产品的用户并不局限于学生,对于有出国交流需求或者英语口语提升需求的用户来说,虚拟教练也可以成为面试官或虚拟员工等不同角色,陪伴用户练习不同场景的口语能力。
这或许也是今天星火在语音识别、语音合成、场景理解以及对话能力等方面的证明。
04
星火教师助手:如何以人工智能辅助教学?
发布会现场的另一个教育相关展示是教师助手。
刘庆峰在现场指出,传统的以学科知识点为核心的教学,以考查知识与技能为主的评价方式已不再适应新课标、新教材、新高考的要求,基于核心素养实施大单元教学是新时代的必然趋势。
“三新”改革下的单元教学强调知识整合、实践导向与任务驱动,对教师的教学设计提出更高要求。
星火教师助手具体的能力包含:
创新规划单元教学设计——星火教师助手可以智能生成一套完整的教学设计,其中包含单元主题、教学目标等标准模块内容,同时可智能匹配新课标所要求的学习任务群规划的教学任务。
刘聪演示了高中语文必修上第二单元,以“时代品质、工匠精神”为主题的教学设计,规划了4个任务和8个教学活动。
启发创设情境教学活动——星火教师助手融合教师设定的教学策略,围绕主题生成一个完整的教学活动设计。
其中包含活动的导入、目标、过程等内容,融合小组讨论、班级交流等方式。
一键生成互动教学课件——星火教师助手还可以根据教学需求,基于讯飞教育自建、区校本、UGC等资源,智能检索、分析、整合相关的文字、图片、视频、音频等信息,一键生成完整的教学课件。
同时,老师还可以进行二次创编,例如智能生成情境图片,系统基于多模态理解、图像生成、图片检索等能力,融合教育知识库,为老师提供教学情境素材。
刘庆峰在现场介绍,通过星火教师助手带来的这些全新能力,教师的单元教学规划效率提升50%,教学活动丰富度提升了20%,课件效率提升50%。
05
讯飞学习机:已有7个大模型能力
刘庆峰在发布会现场介绍,今年5月6号发布会之后,整个讯飞学习机销量增长5月份增长120%+,6月份增长200%+,总体增长180%+。
“讯飞学习机搭载了通用人工智能能力,可以实现作文助手,百科问答教学互动、口语对话等等”,刘庆峰解读,此次搭载星火认知大模型V2.0的科大讯飞AI学习机,上新了两个应用。
分别为:AI智能编程助手,AI创意绘画伙伴。
AI编程空间,支持Python语言的学习、练习,以及代码自动生成、修改、运行调试等功能(运行暂支持文本命令行形态)。
整个学习过程将通过知识问答、练习题和代码诊断等互动下,帮助孩子从基础算法语言的认识开始,逐步深入学习更多编程知识。
AI创意画板,内置AI绘画伙伴小飞。
基于大模型对图像的理解能力,小飞可以从绘画作品的主题、主体、氛围、细节等角度深入解读孩子的作品,它不仅可以看懂孩子画了什么,还能理解孩子想要表达的情感和意义。