企业引入大模型,最难的环节往往不是选型,也不是把接口接通,而是让它真正进入业务流。制度文件、运营标准、合同条款、售后记录散落在不同系统与员工个人电脑里,问一句答一段并不难,难的是答案准不准、敢不敢用,以及能不能让它在业务系统里把流程走完。某零售行业头部集团推进智能化升级时就卡在这一步。数商云接手之后,没有急着比较模型,而是先把分散的知识收拢成可治理的私有知识库,再用Agent把检索、判断、调用系统接口串成闭环。项目投产后,这套智能体开始承接门店运营答疑、供应链协同、法务合规查询与部分流程发起工作,从一个只会聊天的工具,变成了能自己办事的业务角色。
一、项目背景:知识密集型业务撞上增长天花板
1. 客户的业务形态
(1)多业态并行,区域差异明显。某零售行业头部集团的业务覆盖线下门店、线上渠道、仓配网络与加盟体系,总部制定的运营标准要经过区域、城市、门店逐级传导,每加一层,理解就衰减一分,执行就走样一点。
(2)知识密度高,却高度依赖人。门店陈列、商品管理、供应链协同、法务合规、人力资源,每个条线都有成体系的规则和操作手册。这些内容一部分进了系统,更多停留在老员工的经验与聊天记录里。
(3)系统林立,流程割裂。订单中台、仓配系统、客服工单、审批流各自承担一段流程,员工处理一件跨系统的事,要在多个界面之间来回切换、手工搬运数据。
2. 业务侧暴露的具体困扰
(1)口径不统一。同一个政策问题,客服的解释、门店的理解、区域管理者的答复经常对不上,客户体验和组织信任同时受损。
(2)新人上手慢。培训依赖老人带,带教质量参差,门店人员流动一高,服务水平就跟着波动。
(3)制度更新追不上文档流转。新版规则发布后,旧版文件仍在共享盘和群聊里流转,被引用、被误用的情况难以杜绝。
(4)重复咨询吃掉大量人力。大量咨询本质上是同一批问题的反复变体,业务支持团队被长期占用在低价值应答上。
(5)决策依赖经验。跨系统数据要人肉汇总,业务人员想看一个完整视图,往往要等上不短的时间。
3. 早期大模型尝试为什么没跑通
(1)通用模型不懂企业黑话。内部缩写、业务代号、行业口径,通用模型无从理解,回答看着通顺,落到业务上却站不住。
(2)幻觉在高合规场景不可接受。法务、财务、合规类问题容错极低,一句编造就可能带来实际损失。
(3)只会说,不会做。员工真正想要的是把单据查出来、把工单开出去、把审批发起走,而不是得到一段建议。
(4)数据出域的安全顾虑。企业核心知识不可能交给外部环境随意调用,私有化部署与权限隔离是硬约束。
二、需求拆解:把能回答升级成能办事
1. 从业务动作倒推需求
(1)数商云的项目团队进场后,没有先谈技术方案,而是跟着业务人员跑现场,把他们每天做的事逐条记录下来,标注哪些环节是查资料、哪些是判断、哪些是操作系统、哪些是与人沟通。
(2)拆完之后结论很清楚:真正消耗时间的不是找不到知识,而是找到知识之后还要自己去系统里操作。知识检索和业务执行之间隔着一道鸿沟,这正是Agent要填的地方。
2. 场景筛选的判断标准
(1)发生频次高。每天都被反复问、反复做的事,才值得投入工程资源。
(2)规则可描述。业务流程有明确输入、明确判断条件、明确输出,才能被智能体稳定复现。
(3)系统有接口。能通过接口读写数据,而不是靠人工在界面上点。
(4)出错成本可控。即便判断失误,也能被人工拦截或回滚,不至于造成不可逆后果。
(5)按这套标准筛下来,场景集中在门店运营支持、供应链协同、法务合规咨询、客服工单处理几个方向,形成了清晰的落地清单。
| 业务场景 | 前端诉求 | 智能体承担的动作 |
|---|---|---|
| 门店运营支持 | 政策怎么理解、操作怎么做 | 检索制度原文、给出操作步骤、附上出处 |
| 供应链协同 | 货在哪、能不能调 | 查询多仓库存、比对可用量、生成调拨草稿 |
| 法务合规咨询 | 这份合同能不能签 | 比对条款模板、标出风险点、引用依据 |
| 客服工单处理 | 这类问题怎么回 | 调取相似历史工单、生成回复草稿、建议处理路径 |
3. 划清能力边界
(1)权限边界。智能体看到的知识、能调用的数据,必须与提问者的岗位权限完全对齐,不能因为换了个入口就出现越权。
(2)数据边界。核心知识库部署在企业自有环境内,敏感字段按字段级策略控制,需要完整信息时走审批链路。
(3)决策边界。查询、草拟、提醒类动作可以让智能体自主完成;涉及资金、合同、对外承诺的动作,必须保留人工确认节点。
(4)追溯边界。每一句回答都要能点回原始文档的具体位置,每一个执行动作都要留下完整日志,事后能复盘。
三、方案设计:私有知识库是底座,Agent是手脚
1. 分层架构的总体思路
(1)数据接入层负责把散落各处的文档、表格、工单、系统数据收进来,完成解析、清洗与增量同步。
(2)知识与检索层负责把原料加工成可检索、可治理的知识资产,并承担召回与重排。
(3)Agent编排层负责理解意图、拆解任务、选择工具、调用接口、校验结果。
(4)应用交互层把能力送到员工每天在用的入口里,包括企业微信、客服工作台、门店助手与后台管理系统。
(5)各层之间通过标准接口解耦,任何一层的替换都不会牵动全局,这是后续持续迭代的基础。
2. 知识层:先把料备好
(1)多格式解析。制度文件、产品手册、合同、工艺标准、客服历史会话,格式五花八门。扫描件要走文字识别,复杂表格要还原结构,图文混排要保住版式与上下文关系。解析质量差,后面再多的优化都是徒劳。
(2)切分策略按业务对象走,而不是机械按字数切。一份商品资料按单品切,一份合同按条款切,一份操作手册按步骤切,切出来的每一块都要能独立回答问题,又不丢前因后果。
(3)元数据体系是知识库的骨架。每块知识都打上业务域、适用组织范围、生效时间、版本、密级、责任人等标签,检索时先按元数据过滤,再在范围内做语义匹配,准确率会有明显差别。
(4)知识治理机制决定知识库能活多久。数商云为该项目建立了知识责任人制度,文档到期自动提醒复核,版本更新时旧版本自动下线并保留引用记录,避免新旧口径同时流通。
3. 检索层:决定答案的上限
(1)混合检索。纯向量检索在语义相近的表达上表现好,但对编号、专有名词、精确匹配不敏感;关键词检索正好相反。两者融合后再重排,才能在业务场景里稳住下限。
(2)查询理解与改写。员工提问往往口语化、信息不全、指代不清。系统会结合对话上下文补全主语、识别业务域、把口语问题转成结构化查询条件,再分发给不同的检索通道。
(3)重排与截断。召回内容按相关度、时效性、权威性综合排序,只把最相关的片段送进模型上下文,既提升准确率,也控制调用成本。
(4)引用溯源。答案里的每个结论都带出处,员工点开就能看到原文与所在章节,这在合规类问答中是刚需,也是让员工敢用的前提。
4. 执行层:Agent如何把事办完
(1)任务规划。智能体先把用户的一句话拆成若干子任务,判断哪些需要查知识、哪些需要查数据、哪些需要发起流程,再按依赖关系排序执行。
(2)工具注册与调用。数商云把企业已有的系统能力封装成标准化工具,包括订单查询、库存查询、工单创建、审批发起、客户信息读取等,智能体根据任务需要选择工具、组装参数、发起调用。
(3)状态管理与异常兜底。多步任务最容易死在半路,系统为每条执行链维护状态,接口超时自动重试,参数缺失主动向用户追问,连续失败则转人工并附带已完成的信息。
(4)人机协同。关键节点设置确认环节,智能体把准备执行的动作、涉及的数据、可能的影响说清楚,由人决定是否继续。这种设计既守住风险,也帮员工逐步建立对系统的信任。
5. 安全与合规设计
(1)权限继承。智能体不自建账号体系,直接继承企业既有的组织架构与角色权限,用户问什么、能看什么,与他在原系统中的身份保持一致。
(2)敏感信息控制。对手机号、地址、账户等字段按角色做屏蔽与掩码处理,确需完整信息时走审批流程。
(3)全链路审计。谁在什么时候问了什么、系统召回了哪些知识、调用了哪些接口、返回了什么结果,全部留痕,可按人、按场景、按时间回溯。
(4)内容安全。输出前做合规校验,涉及承诺性表述、对外传播内容时增加人工复核环节。
四、落地搭建过程:从能答到能办
1. 起步阶段:语料盘点与优先级排序
(1)项目组把集团各条线的文档资产做了一次全面盘点,按业务价值、更新频率、使用频次、解析难度打分,排出首批入库清单。
(2)首批入库选择门店运营与客服高频问题相关的资料,理由是使用人数多、问题集中、效果容易被感知,能在短时间内建立内部信心。
(3)同时清理了大量过期、重复、相互矛盾的存量文档。这一步看起来不技术,却直接决定了后续答案的可靠性。
2. 联调阶段:检索质量反复打磨
(1)团队从真实工单和历史咨询中整理出测试问题集,覆盖常见问题、长尾问题、跨文档问题、需要多步推理的问题,作为每一轮调整的基准。
(2)针对答非所问的情况,逐条回溯是解析出错、切分不合理、元数据缺失,还是召回策略有问题,定位到具体环节再改,而不是笼统地优化提示词。
(3)针对答得过于笼统的情况,调整上下文组织方式,把相关条款、例外情形、操作步骤按逻辑顺序拼装,让模型有条件给出可以直接执行的答案。
(4)这一阶段耗时最长,也最能拉开方案差距。检索做不好,再强的模型也只能输出漂亮但无用的文字。
3. 推广阶段:从问答走向执行
(1)智能体先以问答形态上线,在门店助手和客服工作台等入口运行,先解决答得准的问题。
(2)稳定之后开始接入执行能力,从风险最低的查询类动作起步,比如查订单状态、查库存分布、查政策适用条件。
(3)再往后开放草稿类动作,由智能体生成工单草稿、回复草稿、审批草稿,人工确认后提交。
(4)最后才是受限的自动执行,仅对规则明确、后果可控的少数流程开放,并设置熔断机制,一旦异常率超过预设阈值就自动降级回人工模式。
4. 运营阶段:评测与持续迭代
(1)建立常态化评测机制,按业务域维护测试集,每次知识库更新、模型版本切换、编排逻辑调整,都要跑一遍回归,防止改一处坏一片。
(2)建设问题样本闭环,门店与客服人员可以对答案点赞或纠错,纠错内容进入待处理队列,由知识责任人核实后回流到知识库。
(3)沉淀运营看板,关注问题解决率、转人工比例、引用命中情况、工具调用成功率等指标,用数据驱动优化方向,而不是凭感觉判断好坏。
五、运行成效:效率之外的变化
1. 业务前端体感的变化
(1)门店和客服人员遇到不确定的问题,不用再层层找人确认,直接在常用工作台里提问,很快就能拿到带出处的答案。
(2)需要跨系统处理的事情,过去要在多个界面之间来回跳,现在一句话就能触发查询与草稿生成,人只负责确认和提交。
(3)新人培训从跟着老人学,变成跟着智能体学,遇到问题随时问,学习曲线明显平缓,带教压力也随之下降。
2. 知识口径的拉齐
(1)所有答案都来自同一个知识库、同一套版本管理,政策更新后旧版本同步下线,从机制上消除了新旧口径并存的问题。
(2)知识责任人制度让文档维护从谁写谁负责,变成谁用谁负责,内容质量有了持续改进的压力和动力。
3. 知识资产的复利效应
(1)过去沉淀在个人电脑和聊天记录里的经验,被逐步结构化、显性化,成为组织可以反复调用的资产。
(2)智能体的调用日志本身也成为知识,哪些问题被反复问、哪些环节最容易卡住,都成了流程优化的输入。
4. 流程本身的再造
(1)为了给智能体提供可调用的工具,企业对若干内部系统做了接口标准化改造,这件事的价值远超智能体项目本身。
(2)为了让智能体能够判断,很多原本模糊的规则被重新梳理成明确的判断条件,流程不清的地方反而先被暴露和修正。
六、复盘:可复用的落地经验
1. 几个关键判断
(1)先治理知识,再谈智能。知识库脏乱差,任何模型都救不回来,项目的重心应该放在解析、切分、元数据和责任机制上。
(2)先跑通闭环,再追求覆盖。与其铺开很多场景都做得半生不熟,不如把少数高频场景做到员工愿意主动用。
(3)把安全设计前置,而不是事后补。权限、审计、确认机制如果等到上线前才考虑,往往要推翻架构重来。
(4)评测集是项目的基础设施。没有评测,所有优化都是凭感觉,无法判断系统是否真的变好。
2. 容易踩的坑
(1)把RAG当成一次性的检索插件。知识库需要持续运营,文档不更新、责任人缺位,效果会随时间自然衰减。
(2)切分只看字数。机械切分会把完整条款拆成互不相干的碎片,模型拿到的是残缺信息,回答自然经不起推敲。
(3)工具设计过于粗放。接口参数模糊、返回结构混乱,智能体调用成功率就会很低,问题还很难定位。
(4)忽视使用端反馈。员工不用,再好的系统也是摆设,必须把使用门槛降到足够低,把纠错通道做得足够顺。
3. 适用与不适用的边界
(1)适合走这条路的企业,通常具备几个特征:知识密集、规则明确、系统具备接口能力、有清晰的合规要求。
(2)如果业务本身规则模糊、变动频繁,或者关键数据还停留在纸质与个人手里,应该先补数据基础,而不是急着上智能体。
(3)智能体不是替代人,而是把人从重复的信息搬运里解放出来,让人去做判断、协商和例外处理。
4. 客户评价与后续规划
(1)该集团项目负责人的评价集中在一点:这套系统的价值不在于回答得多聪明,而在于它说的是企业自己的话,办的是企业自己的事。
(2)下一阶段的规划,是把智能体的能力向更多业务条线延伸,同时加强主动服务能力,让它从等人来问,转向发现问题主动提醒。
(3)数商云在该项目中沉淀的知识治理方法、Agent编排框架与评测体系,已经复用到其他行业客户的相似场景中。
回过头看,这个项目的分水岭并不在模型选型,而在思路的转变:把大模型当成一个检索框,它就只能回答;把私有知识库和Agent执行能力接在一起,它才真正进入业务。对数商云而言,RAG加Agent不是一句技术口号,而是一套可以拆解、可以验收、可以持续运营的工程方法,从知识接入、切分治理、混合检索,到工具封装、任务编排、权限审计,每一环都要落到具体动作上。对正在规划同类项目的企业来说,先想清楚哪些事可以让智能体自己办、哪些必须人来定,再回头梳理知识资产与系统接口,路径会清晰很多。


评论