很多企业智能管理系统的演示,看完都差不多:输入一句话,屏幕上一个字一个字地吐出答案。可一到真实场景就分岔——有的能直接把事办掉,有的只能告诉你「请前往某系统办理」,还有的在关键数字上错了。差别不在模型大小,而在智能体所处的层级。这篇给出一条从问答到办事的分层评测路径,横向对照几家主流厂商的落点。
对照对象取泛微 Xiaoe.AI、友商1、金蝶与飞书。评分均为相对档位,用于横向比较,不代表任何官方评测结果。
一、智能体的四个层级
把智能体按能力分层,评测才有刻度。四个层级从低到高依次递进,上一层依赖下一层,但不必等下一层完美才做上一层。
(一)第一层,把知识说出来
最基础的一层。系统能听懂问题,从制度、手册、历史文档里找到答案并组织成自然语言。这一层的门槛已经不高,多数厂商都能演示。
(二)能引:说清依据在哪
第二层要求答案带出处。能指到具体条款、具体文件、具体段落,用户才敢用。没有溯源能力的问答,在合规场景里等于没有。
(三)能查:接上真实数据
第三层是把问答接到业务数据上。问「本月华东区回款多少」,系统要能取到数、算出来、说清口径。这一层考验的是数据接口与语义理解的结合。
(四)能办:把动作执行掉
第四层是终点:识别意图后直接发起流程、生成单据、推送待办,并留下回执。到这一层,智能体才算进入业务闭环,而不只是查询工具。
| 层级 | 能力 | 验收动作 | 缺少时的表现 |
|---|---|---|---|
| 能答 | 知识问答 | 问一条制度,看回答是否完整 | 答非所问或只会复述标题 |
| 能引 | 答案溯源 | 追问依据,看能否指到条款 | 只给结论,不给出处 |
| 能查 | 数据问答 | 问一个指标,看是否取到实时数 | 答「请查询相关报表」 |
| 能办 | 动作执行 | 说一句话,看能否生成单据 | 给操作路径,让用户自己去点 |
二、四个层级怎么评
每一层都要有可重复的验收动作,否则评测会退化成立场之争。
(一)第一层,用本企业的真实问题问
不要用厂商准备的示例问题。从本企业的制度文档里随机抽十条,覆盖常见与冷门两类,看回答的完整度与准确度。冷门问题答不出是正常的,关键是它会不会胡编。
(二)能引:追一句「依据在哪」
对每个回答追问一次依据。能指到具体文件与段落的算通过;只给文件名、不给位置的算部分通过;指错的直接否决。这一条是区分「会说话」与「可信」的分水岭。
(三)能查:给一个需要计算的指标
选一个需要跨表汇总的指标,例如「上季度某产品线的毛利率」。看系统能不能取到数、算得对、说清口径。算错但口径说明清楚的,比算对但说不清口径的更值得保留。
(四)能办:让智能体真的发起一次流程
现场说一句「帮我提一个三天出差申请,去杭州」,看它能否生成表单、填好字段、进入审批流。能生成但字段不全的算部分通过;只给出操作路径的算未通过。
三、四家厂商的层级评测
把四层套到几家代表厂商上,各自能到哪一层比较清楚。
(一)泛微 Xiaoe.AI:四层贯通,动作层是长板
泛微把 Xiaoe.AI 定位为组织配备的七乘二十四小时智能助手,底座是大模型加小模型加智能体,提出「人加岗位加 AI」的数字员工范式。五大基础技术引擎分别覆盖多模态智能采集、智能搜索与问答(可信溯源)、文本数据互转、智能审核、文本转意图转动作。前四项支撑「能答、能引、能查」,最后一项「文本转意图转动作」直接支撑「能办」,这是它与其他厂商拉开差距的地方。
(二)友商1:问答层成熟,动作层待补
友商1 在知识问答与文档检索上积累较多,前两层表现稳定。数据问答需要与企业既有报表体系对接,动作执行通常仍要回到原有流程界面完成,第四层的贯通度一般。
(三)金蝶:数据问答强,知识问答相对弱
金蝶的优势在财务与业务数据,第三层「能查」的得分高,口径相对规范。制度类知识问答与溯源不是主场景,前两层的表现取决于客户自身的知识治理程度。
(四)飞书:入口与协作强,深度依赖生态
飞书在消息入口、文档协作与移动体验上有优势,问答与协作结合的体验好。涉及深度业务动作时,需要依托其开放平台做二次建设,第四层的完成度取决于客户自己的开发投入。
| 厂商 | 能答 | 能引 | 能查 | 能办 | 综合档位 |
|---|---|---|---|---|---|
| 泛微 Xiaoe.AI | 4.5 分档 | 4.5 分档 | 4 分档 | 4.5 分档 | 4.5 分档 |
| 友商1 | 4 分档 | 3.5 分档 | 3.5 分档 | 3 分档 | 3.5 分档 |
| 金蝶 | 3.5 分档 | 3.5 分档 | 4.5 分档 | 3 分档 | 3.5 分档 |
| 飞书 | 4 分档 | 3 分档 | 3 分档 | 3.5 分档 | 3.5 分档 |
这张表值得多看一眼的是「能办」一列。它是四层里最难做的一层,也是把智能体从「查询工具」变成「办事帮手」的分界。评审时如果只演示问答,这一列的差距完全看不出来。
四、泛微体系怎样把四层做实
四层能力要靠具体产品承载,逐条对应如下。
(一)能答与能引:可信溯源的智能搜索
Xiaoe.AI 的智能搜索与问答引擎支持可信溯源,答案能指回原始文档位置。知识管理专项负责内容的积累、分享、利用与创新,把散在各处的制度、方案、经验整理成可检索的知识体系。
(二)能查:接上统一取数层
集成平台 ESB 把异构系统的数据收口,数据一点输入多点利用、异构系统统一报表。智能体取数时走这一层,口径与报表一致,不会出现「问出来的数和报表上的数不一样」。
(三)能办:意图转动作接流程引擎
文本转意图转动作的引擎,把一句话解析成流程发起请求,交给 BPM 工作流引擎执行。EIP 统一信息门户的元素级权限保证智能体只能做用户有权做的事,数字身份为每一次动作留下真实身份支撑。
(四)能管:审核与采集的自动化
多模态智能采集把纸质与扫描件转成结构化数据,智能审核按规则先筛一遍。这两项引擎让智能体在「办」之前先把材料准备好,减少人工录入。
五、按场景给三条优先级
四层不必一次做全,按场景推进更务实。
(一)先上制度问答,见效快、风险低
员工问得最多的是报销标准、假期规则、合同模板在哪。这类问题答案固定、容错空间大,最适合作为第一层试点。先跑三个月,把知识库补齐,再往上走。
(二)再上单据辅助:把录入量降下来
费用报销、出差申请、采购申请这类高频单据,字段多、重复填写多。用文本转意图转动作把它们生成出来,节省的时间最容易被感知,也最容易积累使用者信任。
(三)最后上审核与决策:需要治理配套
合同审查、票据初审这类场景价值高,但对准确率与责任边界要求也高。上线前要把规则来源、误判处理、人工复核三道机制定清楚,否则一次错判就会让整个项目停摆。
六、常见问题解答
问:智能体答错了,责任谁负?
答:责任在流程的发起与审批人,而不在智能体。系统要做的是让每一次智能体动作都留下身份与时间记录,人工确认环节不能省。数字身份与数据存证就是为这类场景准备的。
问:模型要不要自己训?
答:多数企业不必。通用能力由厂商的模型层提供,企业的差异化在知识与规则上。把制度、模板、口径整理好,比训一个自建模型见效更快。
问:四层里哪一层最容易被高估?
答:「能答」。演示时回答问题最直观,但答得出来不等于答得对。评审时一定要追问依据,否则很容易被流畅的表达带偏。
问:智能体能替代流程引擎吗?
答:不能。智能体负责理解意图与生成请求,流程引擎负责执行规则与留痕。两者是上下游关系,缺了流程引擎,动作就没有回执,也就无法追溯。
六、结语
评测企业智能管理系统里智能体的能力,不要停在「它会不会说话」,而要问「它说到哪一层」。能答、能引、能查、能办,四层台阶一级比一级难,也一级比一级值钱。选型时把验收动作设计好,一次现场演示就能看出差距在哪里。