豆包发布手机助手技术预览版 正与多家手机厂商洽谈合作

图灵汇官网

12月1日,字节跳动豆包团队推出了一款名为豆包手机助手的技术预览版本。

这款助手基于豆包APP开发,与手机厂商在系统层面进行合作。借助豆包大模型的能力和手机厂商的授权,该助手为用户带来更便捷的操作方式和更丰富的使用体验。

豆包大模型表现全面,在推理、视觉理解、图像生成、视频制作、语音处理等方面达到国际先进水平。其图形界面操作能力在多个权威测试中获得最佳成绩,可以像人一样完成复杂的手机任务。

豆包明确表示不会自己生产手机,目前正与多家手机厂商沟通,以生态合作的方式将手机助手整合到不同品牌的设备中,具体进展会继续公布。

现在,开发者和科技爱好者可以在与中兴合作的工程样机nubia M153上试用豆包手机助手的预览版。该版本已开始少量销售,价格为3499元。

演示视频显示,AI助手在与手机厂商深入合作后,操作手机和调用大模型的能力成为亮点。用户可以通过语音、侧边按键或豆包Ola Friend耳机直接启动助手,实现更方便的交互。

在任何界面使用手机时,用户可以直接向助手提问,获取更多信息。此外,助手还集成了语音通话、视频通话和屏幕共享等功能,只需双击侧边AI键即可调用。

在多模态方面,助手接入了系统原生相册,用户可以在相册中通过语音对图片进行编辑,比如删除人物或清理杂物。

值得注意的是,助手具备AI操作手机的功能。根据用户指令,它能在多个应用之间自动切换,帮助完成查票、下单、下载文件、查询物流等任务。

例如,在演示中,用户看到社交媒体上的商品后,只需说“帮我全平台比价下单”,助手就会在多个平台搜索相同商品,比较价格和规格,自动领券并选择最低价下单。但涉及支付等敏感操作时,助手会提醒用户手动完成,以避免误操作和安全问题。整个过程中,用户仍能正常使用手机。

为了提升个性化体验,助手提供记忆功能,用户可以根据需要开启,并且所有数据都会严格保护隐私。

基于记忆功能,助手还推出了操作手机Pro模式。这个模式不仅支持调用GUI Agent(模拟点击),还可以直接使用系统工具,结合记忆数据和更强的推理能力,更高效地完成复杂任务。例如,当用户说“帮我给女儿推荐几个礼物放进购物车”时,如果助手已经存储了女儿的年龄和兴趣信息,就能直接找到合适的选项,无需用户重复说明细节。

不过,官方视频也提到,虽然演示内容都是真实录制的,但由于大模型技术的不确定性,某些场景无法完全复现。目前产品的实际效果与团队预期还有一定差距,未来将持续优化。

有分析认为,大模型行业发展迅速,手机AI助手领域正呈现出手机厂商与大模型厂商深度合作的趋势。例如谷歌Gemini与三星的合作,已经为行业提供了参考。

本文来源: 图灵汇 文章作者: 漫谈互联网