AI 业务落地的四支柱 Pipeline

AI 落地的瓶颈不在模型，在把业务说明书从「给人看」适配成「给 AI 看」的 Pipeline 工程化。

背景

LLM 能力持续增强，但大量 AI 应用仍难以真正落地。常见误区是把"模型能力不足"当作瓶颈，反复更换模型、调 prompt，却忽略了**业务规则与模型之间的适配层**。

核心命题：以模型为基础，结合业务特点，构建 Pipeline——把业务说明书从「给人看」适配成「给 AI 看」。这是 AI 落地的真正工作量所在。

「给人看」的文档是描述性的，依赖人的常识、上下文与隐式约定；「给 AI 看」的文档必须是 约束性的，所有"你懂的"都要变成"它懂的"显式条件。这不是 prompt 工程的小修小补，而是业务规则的一次 显式化重写。

核心内容

Pipeline 由四个支柱组成，覆盖「让 AI 懂业务 → 看到细节 → 可评估 → 持续校准」的完整闭环。

支柱 1：规则边界

定义：给业务规则补上清晰边界，把模糊的业务术语翻译成机器可判定的条件。

为什么需要：AI 不懂"潜规则"。同一条"大额交易需人工复核"，人能脑补出金额阈值和例外情况，AI 一概不知。规则边界不清，模型再强也会判错。

做法：

1. 把业务术语拆解为可判定的字段条件
2. 显式写出例外和白名单
3. 状态流转和动作要可执行（落到具体队列、状态字段）

示例：

规则：大额交易需要人工复核

边界定义：
  大额交易 = 单笔金额 > 5 万元
            OR 同一账户 10 分钟内累计 > 20 万元
  人工复核 = 转入 risk_review_queue，状态置为 pending_review
  例外    = 白名单商户(merchant_tag = 'trusted') 不触发

支柱 2：数据埋点

定义：把人脑"直觉可感知"的信号，通过埋点变成数据字段喂给 AI。

为什么需要：人眼能看到的上下文，AI 默认看不到。一个老运营扫一眼订单就能判断可疑，因为他综合了下单时间、设备指纹、收货地址、最近行为……这些信息不埋点，对 AI 等于没发生。

做法：

1. 列出人工判断时"实际看了哪些信号"
2. 对每个信号设计埋点字段
3. 把这些字段作为特征喂给模型

关键认知：技术团队常觉得"模型不够强"，本质是 模型能看到的特征太少。埋点决定上限，模型决定接近上限的程度。

支柱 3：黄金样本

定义：一批 人工标注、可信、覆盖典型场景 的标准答案，用于评估模型而非训练模型。

为什么需要：模型迭代快，"换不换"靠 vibe 评估是灾难，靠线上指标容易被流量分布带偏。评估标准必须 独立于模型本身，否则就是"既当运动员又当裁判"。

做法：

1. 人工标注覆盖典型场景的样本集
2. 包含正例、反例、边界 case
3. 任何新模型/prompt 上线前，先在黄金样本上跑评估
4. 黄金样本本身也要迭代——发现新 case 就补进去

对应工程概念：eval set。问题是大数 AI 应用根本没建这套，全凭主观感觉上线。

支柱 4：反馈闭环

定义：定期抽样 AI「判对」的结果，让人复核，挑出漏判，喂回训练或 prompt。

为什么需要：AI 判对的结果，不代表真的对。模型说"正常"可能漏判，说"拦截"可能误杀。没人回看，错的就会一直错下去。

做法：

1. 对 AI 输出定期抽样
2. 人工复核，标注漏判/误杀
3. 把错误样本喂回训练数据或 prompt
4. 形成周期性的校准节奏

关键认知：这是 RLHF 的"工程化版本"——不一定要重新训练模型，但一定要有持续校准机制。没有反馈，就没有校准；没有校准，模型就会 漂移。很多团队上线后半年效果越来越差，根因就在这里。

四支柱的串联关系

四个支柱不是并列，是一条完整 Pipeline：

任何一个环节缺位，AI 落地都会卡住。而 这四个环节没有一个是模型本身能解决的——全都是工程活、业务活、脏活。

注意事项

• ⚠️ 别把瓶颈归给模型：换模型、调 prompt 之前，先检查四支柱是否齐备
• ⚠️ 黄金样本不是训练集：它的作用是评估，混用会破坏评估的独立性
• ⚠️ 反馈闭环不是一次性：是周期性机制，不是上线后再补做的事
• ✅ 规则边界先于数据埋点：规则不清，埋点再多也是噪音
• ✅ 黄金样本要持续迭代：发现新 case 立刻补进去，保持评估的代表性
• ✅ 反馈数据要可追溯：每条错误样本要能定位到具体规则/埋点的缺失

延伸阅读

• 博客：让 AI 落地，瓶颈往往不在模型
• 相关知识：系统思维

维护人：yiiewang · 最后更新：2026-07-31

评论