苹果做不到的,就交给OpenAI。

苹果还是“没放过”数学

2024-06-11 19:34:48发布     来源:多知    作者:冯玮  

  来源|多知

  作者|冯玮

  北京时间6月11日凌晨1点钟,一年一度苹果全球开发者大会(WWDC)如约开幕。

  主题演讲环节,苹果发布了多项更新,涉及visionOS、iOS、音频&居家、watchOS、iPadOS和macOS,以及被称为“个人智能系统”(personal intelligence system)的 Apple Intelligence。

  “摘选了安卓系统部分功能,并在iOS上落地”;“不愧是重大更新,花里胡哨挺多,实用功能都是安卓玩剩下的”;“果粉自适应”;“很丝滑,很炸裂”;“史诗级更新”……两极化的讨论,还在继续。

  

  回到更新本身,无论是对独立APP进行的升级、还是基于Apple Intelligence所带来的新功能,其中也包含了不少与教育科技相关的部分。

  多知对教育科技行业相关的部分进行了摘取。

  01

  姗姗来迟的iPad计算器

  发布会前的传闻之一就是计算器的更新。

  爆料正确,但功能新意有限。

  这个在发布会上被称为“在许多人看来在数学上根本无法实现”的设计,本质是将计算器APP搭载到iPad上——千呼万唤,毕竟iPad一直没有过计算器这个东西。

  

  在iPad上的计算器界面与iPhone计算器基本一致,差异之处在于与Apple Pencil的配合下展现了更多可能,其中之一是数学笔记(Math Notes)。

  数学笔记,简单概括是用户使用Apple Pencil可以在iPad上进行基础习题或者数学、物理等问题。

  例如,在iPad上写下任何公式与计算后,写下等号的一刻将直接获得答案。系统可以模仿用户的笔记直接显示计算结果。

  

  如果计算时做出修改,答案也会实时更新。

  运算过程和结果可以直接保存,方便用户同时处理不同任务。

  再比如为乒乓球比赛做预算,数学笔记中可以快速计算总金额,成本下方画一条线即可。

  在另一个物理问题中,当用户计算以不同速度和角度击球时乒乓球能达到的最大高度,数学笔记功能还支持使用变量。

  

  一个表达式使用变量计算高度,当用户改变数据,如击球速度,计算结果也相应做出更改。如果想转看到速度对高度的影响,只需在等式前加上“y=”即可。

  同时用户还可以创建图像,在悬停角度做调整也可以及时体现……

  “数学笔记功能非常适合用来处理习题集,或是解决我们日常遇到的数学问题。”

  另据了解,这款应用在备忘录中也可以使用。用户可以在备忘录上使用计算器所有的全新数学功能。

  

  实际上,几年前知名博主 MKBHD 采访软件工程高级副总裁 Craig时,曾问他iPad为啥连个计算器都没有,他回答:“ 计算器做起来很简单,我们要做就做 iPad 上最棒的计算器。 ”

  不知道现在的计算器有没有实现他所提到的水准。

  02

  模仿你的字迹,再乱也好看

  同样作为备忘录中的新功能,在过往备忘录手写可以涉及的选取、拷贝、手写内容基础上,Smart Script让手写体变得更顺畅。

  简单来说就是让iPad用户的丑字儿变看好。

  

  基于设备端机器学习模型可以基于用户以往笔记来重建手写字体,进而帮助用户在书写的同时优化笔迹。

  “它看起来依然是你写的字,只是写得更顺畅、更端正、更清晰”,Craig介绍。

  

  同时,用户将文本字体复制到手写备忘录后也可以直接生成个人笔迹风格,还包含拼写检查和文内纠错。

  遇到不喜欢、写错的部分,直接划一划就可以删掉。

  

  03

  在电脑上完成多邻国学习打卡

  新的macOS被命名为Sequoia,而它的最新功能之一是用Mac操作iPhone——就是那个华为、小米、vivo和OPPO都已经有了很久的功能。

  但这个被称为iPhone Mirroring的设置也终于让果粉在Mac上切到iPhone屏幕画面,直接对手机进行操控:例如用电脑主屏幕上打开手机上的应用,包括点餐、接收通知和学习。

  

  演示环节,Mac上收到了来自多邻国的通知(Apple今年真的很爱多邻国),当用户点击时可以直接进入多邻国APP并且进入学习界面延续打卡。

  在iPhone端听到的学习音频可以在Mac上打开。

  不过与一些安卓手机不同的是,iPhone Mirroring不要求手机必须在电脑附近,也不需要接触锁屏。当你不方便拿手机也懒得动的时候,就可以在Mac上自由点外卖了。

  04

  出国玩儿,用手表就能翻译

  Apple Watch的系统更新除了健康功能外还是比较有限的。

  有趣的是这次增加的实时翻译功能,不用带着翻译机翻译蛋、不用打开手机或三方软件,只需要抬起手腕点一下即可。

  

  此前Apple Watch内置的语音助手也可以为用户提供翻译帮助。之前主要支持11种不同语言的实时翻译。

  用户只需对着手表说“Siri,我如何用{语言}说{单词或短语}”即可使用Siri的实时翻译工具。然后就会得到Siri键入的翻译以及播放的单词或短语。但这只能满足比较简单的对话。

  这次更新的翻译小组件则支持20种语言,使用时也是打开翻译APP即可,不再需要唤醒Siri。

  据介绍其利用学习模型进行语音识别和翻译,通过听写可以在手腕上看到并听到全部的翻译内容。

  至于准确率、翻译速度和对语言环境的要求与效果如何,尚未可知。

  05

  写作工具嵌入所有应用

  苹果 CEO 蒂姆·库克(Tim Cook)提出开发Apple Intelligence这套系统的五大原则:

  强大(Powerful),它必须足够有用,帮助你完成最重要的事情;

  直观(Intuitive),它必须易于使用;

  整合(Integrated),它必须集成到产品体验中;

  个性化(Personal),它必须了解你,并以你的个人信息为基础,例如你的日常习惯、你的人际关系、你的沟通方式等;

  隐私(Privacy),它必须从一开始就以保护隐私为基础构建。

  

  基于以上,Apple Intelligence落地到应用场景时也有些涉及到教育和工作场景。

  例如,写作工具。

  苹果将在 iOS 18、iPadOS 18 以及 macOS Sequoia 中内置由大模型驱动的的写作工具,覆盖所有涉及文本输入的原生和三方应用,包括邮件、备忘录等。

  “Apple Intelligence带来的新方式能优化你的写作体验,很适合用来整理你草草记下的课堂笔记,让你的博客读起来行云流水,或是让你的邮件表述句句到位。”

  简单概括,用户可以通过它来重写、润色、校对原文内容,但不能凭空生成。

  

  重写功能可以提供用户写过的不同版本进而选择最满意的一版,建议会直接显示在行文中,方便用户随意搭配想要的语序和措辞,重写功能还可以帮助用户调整语气,让行文看起来更友好、更专业、更简洁。

  在这里,它甚至可以直接生成一首诗。

  而在校对的部分,则是可以把关语法、用词、确保句式结构清晰。用户可以查看建议的修改以及这些修改各自的释义。

  

  同时,苹果还解决了一个老问题,终于可以支持通话录音了,不过当用户开启录音时,会自动提醒对方。

  但对通话录音文件也可以支持转写、要点陈列,以后主编打电话来说文章大改建议的时候,终于可以录下来了!yeah!

  

  06

  苹果做不到的,就交给OpenAI

  因为知道自己短时间内很难做出性能追上 GPT-4o 的大模型,所以Apple直接将GPT-4o嵌入Siri和大模型写作功能中。

  

  正如发布会前爆料的那样,双方果然联手了。

  Sam Altman在也在官方博文中表示:“我们很高兴与 Apple 合作,以新的方式将 ChatGPT 带给他们的用户。Apple 与我们一样致力于安全和创新,此次合作与 OpenAI 让每个人都能使用先进 AI 的使命相一致。与 Apple 一起,我们将让人们更轻松地从 AI 中受益。”

  

  根据发布会现场信息,Apple正在将 ChatGPT 集成到 iOS、iPadOS 和 macOS 的体验中,允许用户访问 ChatGPT 的功能(包括图像和文档理解),而无需在工具之间切换。

  当Siri认为一个问题需要 GPT-4o 才能提供更好答案时,就会弹出对话框,用户点击确认后才把问题、图片或文档等信息发过去处理后直接回复。

  嵌入到写作功能中的 GPT-4o,则需要用户主动调用。

  这时,用户可以从头编一段故事、生成相应的图片等。过程不需要创建新的 OpenAI 账户,也不需要下载或打开 ChatGPT。

  如果用 OpenAI 账户,则可以关联、使用 ChatGPT 的付费功能,而且苹果设备中处理的问题就会同步其中。

  ChatGPT 不会是唯一选项,苹果未来还会引入其他的大模型。而这也许就包括了此前透露出有合作消息的谷歌Gemini和百度文心一言。

  不过,AI相关功能要等到秋季才会推送测试版。

  END

  本文作者:冯玮