公司动态
星空电竞-AI手机智能体实测成绩单出炉:中兴领跑商用赛道,端侧小模型集体遇阻
2026-07-07 22:20:50
【CNMO科技动静】当智能手机硬件立异进入瓶颈期,GUI 智能体正成为手机厂商新一轮比赛的焦点赛场。从传统语音助手到具有自立计划、视觉感知、跨运用全链路履行能力的智能体,端侧 AI 的落地能力,已经然成为划分产物竞争力的焦点标尺。近日,SuperCLUE 发布AgentCLUE-Mobile 6 月手机助手 GUI 智能体测评榜单,6 款主流手机智能体同台竞技,终极成就出现出 “一家领跑、三家胶着、两家追逐” 的清楚格式。测评数据直指当下行业本相:参数并不是决议机能的独一尺度,模子架构、使命适配度、单步决议计划质量,才是 AI 手机迈向商用的要害。 1、榜单全景:三年夜梯队泾渭分明,复兴实现断层领先 本次测评聚焦具有完备智能体架构与专属模子的 6 款产物,同一于 ADB 手机交互 + 纯视觉输入的尺度化情况中开展测试,从用意解析、视觉感知、长链路履行三年夜焦点维器量化能力,终极总成就排名以下: 联合分数与综合能力,6 款产物被划分为三年夜梯队,差距十分显著: 1. 第一梯队(90 分以上,商用级):仅复兴 GUI 手机智能体入围。91.29 分的总成就遥遥领先,也是全场独一综合能力靠近贸易落地尺度的产物。其于简朴、中等、坚苦全难度使命中体现稳健,7 年夜细分维度患上分均冲破 85 分,端到端使命完成率高达 93%,基本挣脱了端侧智能体 “指令理解误差、操作冗余、长链路中止” 的通病。 2. 第二梯队(65-75 分,发展型):智谱 AI Open-AutoGLM、阿里两款产物形成中游阵营,三款产物分差不足 8 分,处在胶着状况。该梯队产物具有基础的用意解析与 GUI 感知能力,但跨运用长链路履行成为遍及短板,使命完成率集中于 56%-60%,间隔范围化商用仍有较着差距。 3. 第三梯队(60 分如下,摸索型):阶跃星斗 GELab-Zero、字节跳动 UI-TARS 处在追逐阶段。此中 UI-TARS 以 30.19 分垫底,与榜首差距超 60 分,纯视觉小模子于繁杂手机交互场景中的能力短板袒露无遗;GELab-Zero 虽优在 UI-TARS,但总体能力单薄,全维度患上分均低在 62 分,使命完成率仅 35%。 从挪用模式来看,API 挪用类产物总体体现优在当地部署产物。榜单前四名中三款均采用云端 API 挪用,而四款当地部署产物包办后三名。这也印证了当前行业近况:受限在手机端算力、内存、功耗,纯端侧当地运行的小模子,暂时难以承载繁杂 GUI 主动化使命,端云协同仍是现阶段最优解。 2、深度拆解五年夜焦点结论:云端还有是当地年夜模子?这是一个问题。 本次测评并不是简朴的分数排名,而是经由过程难度分层、步调拆解、多维度打分,挖掘端侧 GUI 智能体的技能瓶颈与行业趋向,五年夜焦点结论精准勾画出当前赛道的技能全貌。 1. 难度体现分解:部门产物 “倒错配”,中等使命成最年夜磨练 测评标题问题采用倒金字塔难度布局,坚苦标题问题占比最高,重点磨练智能体的长链路履行、多用意并行、异样恢复能力。各产物于差别难度使命中的体现,倾覆了 “难度越高、患上分越低” 的通例认知: 复兴实现全难度通吃:简朴使命患上分 96.99 分,坚苦使命仍连结 85 分以上,不管短指令还有是多步调繁杂使命,决议计划不变性拉满。 第二梯队两款产物呈现难度逆序征象:Open-AutoGLM 坚苦使命患上分 76.71 分、中等使命 68.68 分;Mobile-Agent-3.5 坚苦使命 73.09 分、中等使命 58.17 分。坚苦使命患上分反超中等使命,焦点缘故原由是中等使命包罗年夜量隐式指令、多用意并行判定,对于模子的计划不变性要求更高,反而比线性长链路的坚苦使命更难应答。 第三梯队全线拉胯:MAI-UI、GELab-Zero 遵照患上分随难度递增递减的纪律,但总体分值偏低;UI-TARS 更为极度,简朴、中等、坚苦三类使命患上分均倘佯于 30 分摆布,属在 “全难度掉效”,没法胜任基础手机主动化操作。 2. 履行效率:完成率与操作步数强绑定,冗余操作是体验硬伤 测评从使命完成率及平均操作步数两年夜维度,权衡智能体的履行效率,这也是直接影响用户体验的焦点指标: 复兴:93% 的超高完成率,平均每一题仅 10.83 步。单步决议计划精准,险些无冗余点击、回退操作,履行效率、正确率双优,彻底适配一样平常用户利用场景。 第二梯队:完成率集中于 56%-60%,步数差异较着。Mobile-Agent-3.5(59%/12.15 步)效率相对于平衡;MAI-UI 完成率 56%,平均步数高达 17.23 步,存于年夜量无效操作,出现 “操作多、准确率低” 的问题。 第三梯队:堕入 “步数越多、过错越多” 的恶性轮回。GELab-Zero 完成率 35%,平均 16.75 步;UI-TARS 完成率仅 18%,平均步数到达 20.62 步,相称在每一履行 11 步才能乐成一次,实用性极低。 行业纪律于此获得验证:智能体的实用化瓶颈,不止是 “可否完成使命”,更是 “用几多步调完成使命”。压缩无效操作、晋升单步决议计划质量,远比纯真晋升总体准确率更能优化用户体验。 3. 云端模子断层领跑,当地小模子 “参数越年夜未必越强” 模子架构与场景适配度,优先级远高在参数目: 27B 参数的复兴 Nebula-Pilot V1.0 一骑绝尘,相较第二名 9B 参数的 Open-AutoGLM 拉开 18 分的巨年夜差距,年夜参数模子于繁杂认知、长链路计划上的上风充实闪现。 7B 模子体现不和 4B 模子:字节 UI-TARS(7B)患上分 30.19 分,年夜幅掉队在阶跃星斗 GELab-Zero(4B,54.26 分)。这证实离开场景适配的参数重叠毫无心义,针敌手机 GUI 交互优化的小模子,能力可以逾越通用型 7B 模子。 4B-9B 参数区间呈现边际效应递减:该区间内模子参数目晋升带来的能力增益十分有限,厂商纯真依赖 “堆参数” 晋升产物竞争力的线路已经经走欠亨。 4. 能力短板:跨运用履行成为行业通用瓶颈,短板决议上限 测评设置 7 年夜细分能力维度,热力求数据清楚揭示各产物的能力矩阵,同时展现了全行业的共性短板: 复兴:能力周全平衡,六年夜焦点维度(简朴 / 中等 / 坚苦使命、用意拆解、GUI 感知、跨运用履行)患上分全数冲破 85 分,无较着短板,这也是其高完成率的焦点支撑。 第二梯队:认知、感知能力尚可,但跨运用全链路履行团体拉胯。Open-AutoGLM、Mobile-Agent-3.5 该维度患上分别离为 65.69 分、67.10 分,多运用切换、数据迁徙、通知栏联动等繁杂场景处置惩罚能力不足;MAI-UI 分解严峻,用意拆解患上分 76.72 分,但跨运用履行仅 50.79 分,“认知强、履行弱” 的问题凸起。 第三梯队:周全掉队。GELab-Zero 全维度低在 62 分;UI-TARS 仅 GUI 感知维度到达 46.06 分,其余维度均低在 31 分,纯视觉模子难以统筹认知、计划、履行全流程。 总结来看:智能体的端到端乐成率,由最弱维度决议。当下大都产物卡于 “跨运用履行” 环节,这也是从 “玩具级 AI” 走向 “东西级 AI” 必需霸占的焦点关卡。 5. 场景实战:典型使命落地对于比,差距直不雅可见 本次测评比取多用意并行 + 跨运用履行的高频繁杂使命作为典型案例:“高德搜刮海底捞并导航至近来门店,打开微信于产物交流群发送位置同享”,完备还有原用户真实利用场景,两款梯队代表产物的体现差距一目明了。 1. 复兴 GUI 手机智能体(满分 100 分) 全程 15 步操作,每一一步逻辑联贯、动作精准。依次完成打开高德、搜刮要害词、按间隔排序选择近来门店、启动导航、返回桌面、打开微信、进入群聊、开启及时位置同享,无一步冗余、无一次误操作,精准理解 “近来门店”“位置同享(及时同享)” 两年夜焦点指令,完善匹配用户真实诉求。裁判判断所有步调有用,是全场独一满分完成该繁杂使命的产物。 2. GELab-Zero(患上分 53.85 分) 共计 13 步操作,呈现两处焦点过错:第一,搜刮海底捞后,未选择间隔近来的门店,违反 “导航至近来一家” 的指令;第二,混合微信 “发送静态位置” 与 “同享及时位置” 功效,误选静态位置发送,偏离 “位置同享” 的焦点要求。两年夜要害掉误直接致使使命掉败,年夜量操作沦为无效动作,也是中低端智能体的典型问题:指令理解浮在外貌,没法区别相似功效、隐性约束前提。 该案例也直不雅注释了分数差距暗地里的用户体验差异:优异的 GUI 智能体可以像人同样理解繁杂天然语言、区别细节指令;而掉队产物仅能完成基础点击,碰到多用意、隐性法则便轻易堕落。 3、总结:GUI 智能体,从头界说下一代手机的焦点体验 智能手机硬件立异已经经触顶,摄像头、芯片、快充的同质化内卷难以再撬动换机需求,具有自立履行能力的 GUI 智能体,成为行业冲破增加瓶颈的新变量。 本次 AgentCLUE-Mobile 测评交出了一份苏醒的成就单:当下海内手机智能体赛道梯队已经然固化,复兴依附自研 27B 年夜模子与深度场景优化,率先站于商用门坎之上;智谱、阿里等玩家处在发展阶段,仍需补齐长链路履行短板;而纯视觉小模子线路遭受较着瓶颈。 对于在整个行业而言,这场测评敲响了警钟:AI 手机的竞争,早已经不是 “有无年夜模子” 的观点之争,而是 “模子能不克不及用、用患上好欠好” 的落地之争。参数只是数字,架构、适配、工程能力、场景打磨,才是决议产物终极体验的焦点。 站于行业拐点之上,AI 手机年夜战才方才最先。短时间来看,端云协同仍是主流,周全商用的产物将率先收割市场;持久来看,跟着端侧算力连续进级、模子技能不停迭代,当地部署的轻量化高机能智能体,或者将成为终极形态。 版权所有,未经许可不患上转载







