❍ 跨应用程序任务处理:能够深入研究用户的应用程序并代表用户执行任务。例如让 siri 播放女友发来的播客,或在收到邮件通知会议延期时,询问 siri 是否还能赶上和朋友之前约的电影,siri 可以综合调用短信、邮件、地图等工具来进行判断。
❍ 关注个人背景:利用用户的全部活动和屏幕上的内容,例如用户可以询问会议转移是否会导致迟到。
❍ 更智能的 siri:在其加持下 siri 将更加深入地融入到系统体验中。siri 出现时屏幕周围会闪烁发光,用户可以通过文本使用 siri,它能实时纠正用户的陈述,并提供与操作系统更紧密集成的新外观。它支持连续对话和上下文理解,能联系上下文,分析不连贯或修正过的语言。还具备屏幕内容理解能力,例如可把朋友发来的地址信息添加到朋友的地址中,用户也能设置与 siri 进行对话的方式(语音或文字),并自由在文字和语音之间切换。
不过,Apple Intelligence 的部分功能目前存在一些使用限制。例如,只有 iPhone 15 Pro 和 iPhone 15 Pro Max 可以访问 Apple Intelligence,对于 iPad 和 Mac 用户,则需配备 M1 或更高配的芯片支持的设备。该系统目前仅支持英语,更多功能、语言和平台支持需要等到后续更新。
Apple Intelligence 由多个高性能生成模型组成,其模型架构主要包括约30亿参数的本地模型以及可通过私有云计算并在 Apple 芯片服务器上运行的更大云端语言模型。苹果在训练基础模型时不使用用户的私人个人数据或用户交互,并使用过滤器等方式保证数据安全和隐私。其本地模型在一些测试中的性能优于部分其他模型,而云上模型水平基本与 GPT-4-Turbo 持平。
中信证券认为,苹果端侧 AI 落地过程中主打终端跨 app 的信息整合和调用,系统级个人助理定位更为清晰,成功拉开与现有安卓端 AI 手机的差距。如果有一家厂商能够在 AI 手机形态上做到极致,可能是具备芯片、模型、终端、操作系统一体化优势的苹果。
3.Google / Project Astra、Gemini、Imagen 3
谷歌在 5 月的 I/O 开发者大会上展示了其新的专家 AI 助手原型 Project Astra,该助手基于现有的聊天机器人 Gemini 构建,能够穿透用户的手机和智能眼镜等设备。Gemini 1.5 Pro 和 1.5 Flash 是谷歌推出的新一代人工智能聊天机器人模型,而 Imagen 3 则是其更新的图像生成器,进一步提升了图像生成的质量和多样性。
❍ Project Astra
Project Astra 是由谷歌的 DeepMind 部门发起的一个项目,旨在创建能够理解和处理日常任务的“通用 AI 代理”。这个项目的目标是开发出能够与用户日常互动的 AI,比如通过智能手机或智能眼镜等设备提供帮助和信息。
该计划的愿景是让每个人都能拥有一个专家助手,这个助手可以通过用户的各种设备提供个性化服务和支持。
❍ Gemini
Gemini 是谷歌开发的一款聊天机器人,它基于先进的自然语言处理技术,能够理解和生成人类语言。Gemini 1.5 Pro 是该系列的最新版本之一,它代表了在对话能力和语言理解方面的进一步发展。
Gemini 1.5 Pro 旨在提供更加丰富和深入的对话体验,可能包括更好的上下文理解、更准确的回答以及更人性化的交互方式。
另外,还有 Gemini 1.5 Flash,这可能是一个针对速度和效率优化的版本,能够在需要快速响应的场景中提供服务。
微软在 5 月宣布推出配备 AI 硬件和支持 AI 应用程序的 Copilot Plus PC。这款笔记本电脑专为 AI 任务设计,搭载了高性能的基于 Arm 的芯片。
其主要特点包括:
❍ 全新系统架构与性能表现:采用由 CPU、GPU 和可实现每秒超过 40 万亿次运算(40+TOPS)的全新 NPU(神经处理单元)相结合的系统架构。它是有史以来生产的更快、更智能的 Windows PC,在设备本地解锁了一系列全新 AI 体验。例如,通过新功能“回顾”(Recall)可以轻松回忆和找寻此前在 PC 上看过的内容,能帮助用户根据记忆中的线索碎片快速、直观地检索出想要寻找的内容。该功能仅限于个人的本地设备,不会使用任何信息训练 AI 模型。另外,它还支持增强的 Windows 工作室效果、实时字幕等功能,实时字幕可以将自动将任意 app 或视频平台上的直播或录播音频即时翻译成英文字幕,支持包含中文在内的40多种语言翻译,即便用户处于离线状态,也能实现该功能。
❍ 高效的芯片:首批 Windows 11 AI PC 搭载高通的桌面处理器骁龙(Snapdragon)XElite 芯片,这款开创性平台将重塑性能,凭借一流的 CPU 性能、领先的终端侧 AI 推理和支持多天续航的高能效 PC 处理器,显著提升 PC 体验。它采用定制的集成高通 Oryon CPU,4 纳米制程工艺,拥有 12 个高性能内核,在每瓦特性能方面保持领先。当用户需要最高性能时,Oryon CPU 还可以通过双核增强加速其中 2 个高性能 CPU 内核,从而为用户提供超快响应。集成的 Adreno GPU 能够实现出色图形性能,带来沉浸式娱乐体验。骁龙 XElite 采用的高通 AI 引擎具有领先的异构计算架构,Hexagon NPU、Adreno GPU 和 Oryon CPU 等可共同实现超过 70TOPS 的算力。
其中,高通 Hexagon NPU 是高通 AI 引擎的核心,算力高达 45TOPS,是目前市场中面向笔记本电脑的全球最快 NPU,并具备领先的每瓦特性能。骁龙 XElite 不仅支持在终端侧运行超过 130 亿参数的生成式 AI 模型,并且目前独家支持 Windows 11 AI PC。此外,该芯片充分发挥骁龙在移动计算领域的专长,支持超快 5G 和 Wi-Fi 7 连接,能够带来无缝、无卡顿的极速连接体验,还支持 Snapdragon Seamless 体验、微软安全核心电脑(Microsoft Secured-Core PC)等安全特性,打造从芯片到云的安全体验。
❍ 丰富的应用体验:Windows 率先与高通合作,提供了大量 arm64 原生应用程序体验,既有 PowerPoint、Word 等 Microsoft 365 的 app,又有爱奇艺、B 站、Foxit PDF Editor 专业版、酷狗音乐、QQ、QQ 音乐和网易有道翻译等。Adobe 系列旗舰级 app 也即将登陆 Windows 11 AI PC,其中包括 Photoshop、Lightroom 和 Express 已于本周一上线,今年夏季还将推出 Illustrator、Premiere Pro 及更多 app。在 LiquidText 中,利用完全由 NPU 驱动的本地 AI 功能,可更快、更智能地对文档进行注释,从而保证数据隐私。全新的 Windows Copilot Runtime 中有超过 40 个 AI 模型,为“回顾”等功能提供支持。
Claude 3.5 Sonnet 是 Anthropic 公司于 2024 年 6 月 21 日发布的 AI 模型。它是 Claude 3.5 系列模型中的首个版本。
以下是 Claude 3.5 Sonnet 的一些主要特点:
❍ 性能优势:在阅读、编码、数学和视觉等主要 AI 基准测试中,其能力不仅超过了 Claude 3,也超越了 Anthropic 此前的旗舰模型 Claude 3 Opus。在研究生水平推理(GPQA)、编码能力(HumanEval)、文本推理(DROP)等方面表现出色,成绩优于 GPT-4o,但在数学问题解决能力上稍逊于后者。它能够更好地理解指令之间的细微差别,有更强的幽默能力,还为包括 GPQA(研究生水平推理)、MMLU(本科生水平知识)与 HumanEval 等基准测试设立了全新的行业标准。根据内部代理编码评估,其解决了64%的问题,远超 Claude 3 Opus 的38%。
❍ 视觉能力:作为一款多模态大模型,其视觉能力有较大提升。它可以更准确地解释图表和图形,能在带有扭曲和视觉伪像等“不完美”图像中顺利完成文本转录任务,在所有标准视觉基准测试中的平均表现比 Claude 3 Opus 高出 10%。它擅长解释和分析视觉数据,例如理解复杂的图表、图形和图解,分析信息图表和科学可视化,解释场景中的空间关系等;可以无缝融合图像和文本的信息;能够准确识别和描述图像中的物体;支持视觉问答,可根据视觉分析提供答案;能利用视觉信息来协助解决问题;可以提供有关艺术风格、设计元素和视觉美学的见解;展示了识别和转录手写文本的改进能力;可以从视觉呈现的数据中提取相关信息,还能处理多种文本样式以及转录多种语言的文本,并理解图像中文本的上下文,在转录结构化文本时通常可以保留或描述原始格式。
❍ 运行速度与成本:运行速度是 Claude 3 Opus 的两倍,而价格仅为后者的五分之一。其输入价格为 3 美元/百万 tokens,输出价格为 15 美元/百万 tokens,上下文窗口长度达 200k tokens。
❍ 新功能:Anthropic 推出了 Artifacts 预览版,这是一个可供用户添加和编辑其模型生成内容的工作空间,例如用其生成的代码、文档、图像、网站设计等内容创建作品。该产品会在 Claude 的 web 客户端设置一个专用窗口,类似于将大模型接入工作流。
此外,Anthropic 透露公司将在今年晚些时候陆续更新其余两款大模型 Claude 3.5 Haiku 和 Claude 3.5 Opus。同时,亚马逊云科技也宣布 Claude 3.5 Sonnet 已正式接入其 Amazon Bedrock。
如需使用 Claude 3.5 Sonnet,由于国内尚未开放使用,需注意接受验证码的手机号码不能属于中国地区。注册条件通常包括一个邮箱(如微软或谷歌邮箱)和一个海外手机号。具体注册方式可以参考相关平台的指引。同时,除了官方渠道,还有一些其他方式可以使用 Claude 3.5 Sonnet,例如通过 slack 工作区、poe 等平台,但可能需要满足相应平台的要求和条件。
Salesforce 在 4 月宣布其企业级聊天机器人 Einstein Copilot 全面上市,该机器人在减少幻觉和生成虚假信息方面具有优势。尽管 Einstein Copilot 的推出受到了市场的期待,但 Salesforce 的股价表现并未达到预期,反映了市场对AI产品接受度和商业成功的不确定性。
Salesforce Einstein 是 CRM(客户关系管理)的首款全面 AI 产品。它具有以下特点:
❍ 数据就绪:无需准备数据或管理模型,只需将数据放入 Salesforce 即可使用。
❍ 建模就绪:多租户自动机器学习意味着会为组织自动匹配恰当的模型。
❍ 生产就绪:依托同样可信赖的 Salesforce 平台,具有模型管理和监控工具。
Einstein 可以帮助企业提高智能化程度并更好地预见客户需求,具体来说:
❍ 销售人员可以预测潜在机会并超出客户期待。
❍ 服务人员可以避免潜在问题发生,变被动为主动。
❍ 营销人员可以开展预见性的活动,营造前所未有的个性化体验。
❍ IT 人员可以将智能融入每个角落并为员工和客户创建更加智能的应用程序。
Einstein 可与许多 Salesforce 产品无缝集成,其功能广泛应用于各个领域,例如:
❍ Einstein Sales Cloud:用于提升效率和效果,功能包括预测转化可能性,给潜在客户自动打分;基于组织的最佳实践分析预测后续跟踪趋势,并通过销售周期分析制定下一步的行动计划;通过 AI 自动捕获发现新老客户的商机。
❍ Einstein Service Cloud:用于提升效率和服务体验,功能包括自动预测和填充案例的相关字段;自动根据客户请求路由服务和处理人员,减少客户等待和切换时间;智能客服功能,根据客户的对话信息和上下文信息,提供知识建议和对话建议,协助客服人员更快解决问题。2022 年起重磅推出 ChatGPT AI。
❍ Einstein Marketing Cloud:提供客户洞察和预测,深入了解客户;接触客户的渠道和时间点的智能建议;为客户提供一对一的个性化消息和内容,实现千人千面。
❍ Einstein Commerce Cloud:个性化商品推荐,提升客单价和复购率;客户行为模式仪表板,为商品推销和营销提供数据支撑;个性化显式搜索排序(搜索框)、个性化隐式搜索排序(首页浏览、品类页浏览)。
❍ Einstein Community:推荐相关的专业人士、小组和内容,降低社区成员寻找所需资源的难度;借助智能的活动源,确保社区成员可以看到重要帖子和热门话题等高人气内容,从而保证成员持续参与;帮助社区成员寻找经过认证的相关专业人士,以便于他们尽快解决最要紧的问题。
此外,Einstein 还包含一些特定的平台功能,如 Einstein Bots(使用自然语言处理技术,能够为客户提供即时帮助)、Einstein Voice(包括语音助理和语音机器人两部分,可实现文字与语音的相互转换,以及通过智能扬声器和 Salesforce 软件进行对话等功能)、Einstein Prediction Builder(可以通过点击的方式构建自定义预测)、Einstein Next Best Action(根据预测结果或者特定条件自动触发下一步最佳行动)、Einstein Discovery(自动分析并发现数据中的行为模式,洞察数据中的相关关系)、Einstein Vision(可对图像进行分类,对图像中的物体进行识别)、Einstein Language(能够分析文本的感情色彩,提取文本语义并进行分类)、Einstein Recommendation(智能推荐,如商品推荐、社区内容推荐等)。