Glean #help-agents 频道的 AI 运维服务闭环

案例定位：面向AI项目审计、PoC设计、方案复用与交付复盘的结构化案例。
事实边界：本文仅把材料中明确披露的内容视为案例事实；PoC门槛与实施步骤属于FDE交付建议。

二、案例基本信息

三、30秒案例摘要

Glean围绕设备运维与预测性维护开展AI能力建设。案例所对应的核心矛盾是：这 3 分钟里 OnCall 完成了：读日志 → 查服务端数据 → 排除"权限问题"假设 → 把故障定性为前端渲染 → 提出一个鉴别性问题（刷新后是否显示，直接区分"数据问题"与"渲染时序问题"）。方案侧的关键做法是：服务对象：Glean 的企业客户（本案例涉及 snowball、Bright Harbor、acme 三家客户）所部署的 AI Agent。当前材料可确认的结果为：支持人员 Doan 将其提升为升级工单（Escalation raised by @Doan）。

从FDE交付视角，这类项目不应直接以“大模型上线”作为目标，而应把识别设备异常、辅助诊断并生成可执行维护建议定义为可评价任务。建议先以覆盖正常、退化和故障状态的历史时序数据与 100—300 条维修工单建立测试集，以故障识别召回率、误报率、平均修复时间为核心指标，通过PoC后再进入系统集成与生产化。

四、企业背景与项目起因

4.1 企业与业务背景

已披露事实

• 从客户报障进入频道，到修复代码合入主干，共 18 分钟。
• acme 客户「创建者空白」故障（Zendesk 41959）•从报障到代码合入主干仅 18分钟•人类全程只说了3句试。
• 服务对象：Glean 的企业客户（本案例涉及 snowball、Bright Harbor、acme 三家客户）所部署的 AI Agent。

4.2 项目发起原因

已披露或可直接识别的问题

• 这 3 分钟里 OnCall 完成了：读日志 → 查服务端数据 → 排除"权限问题"假设 → 把故障定性为前端渲染 → 提出一个鉴别性问题（刷新后是否显示，直接区分"数据问题"与"渲染时序问题"）。
• OnCall 在证据不足时（无法区分数据问题还是渲染时序问题）主动向人类提出鉴别性问题，而不是猜测——"没把握就交回人"。
• 现象：同一用户、同一问题，在两个界面（two surfaces）得到两种结果。
• 关键线索：问题从 owner 的邮箱域名上周变更后开始出现。

FDE补充判断

项目边界应收敛到“识别设备异常、辅助诊断并生成可执行维护建议”，并在启动会中确认业务负责人、真实使用者、数据负责人和最终验收人。若无法确认这四类角色，项目容易停留在演示层。

五、原始流程与核心问题

5.1 AI介入前的工作流程

以下流程为基于场景的FDE复盘推断，必须在客户访谈和跟岗观察中确认。

设备告警 → 人工查看参数 → 查询手册/询问专家 → 安排检修 → 复盘归档。

5.2 核心问题

5.3 项目前基线

六、场景选择与价值判断

6.1 候选场景

6.2 选择原因

第一阶段建议选择“设备运维与预测性维护”，因为任务边界可以被定义，输入与输出可以形成测试样本，并能通过故障识别召回率、误报率评价。上线初期保留人工审核和异常兜底，可以在控制业务风险的前提下验证价值。

6.3 核心验证假设

如果使用智能体 + API与系统集成组合方案完成“识别设备异常、辅助诊断并生成可执行维护建议”，预计能够让故障识别召回率和误报率达到双方约定目标，同时把高风险异常控制在人工审核与可回滚范围内。

七、AI解决方案设计

7.1 方案概述

• 服务对象：Glean 的企业客户（本案例涉及 snowball、Bright Harbor、acme 三家客户）所部署的 AI Agent。
• 病灶都指向 Agent 身份系统与人的身份元数据的深度耦合。
• 阶段四：AI 定位根因 + 自动跨系统记录（9:25）。
• 注意：OnCall 在给出诊断的同一条消息里，顺手完成了 Jira 建项和 Zendesk 回写——传统上最消耗工程师意志力的"跨系统文书工作"被 AI 静默吸收。

建议的任务链路为：业务系统或工作台发起任务 → 数据与权限校验 → AI识别、检索、预测或优化 → 规则校验 → 返回建议/执行动作 → 人工确认高风险结果 → 结果写回与日志留存。

7.2 系统组成

7.3 核心业务对象

1. 设备：需要定义唯一标识、关键属性、状态和与其他对象的关系。
2. 部件：需要定义唯一标识、关键属性、状态和与其他对象的关系。
3. 测点：需要定义唯一标识、关键属性、状态和与其他对象的关系。
4. 告警：需要定义唯一标识、关键属性、状态和与其他对象的关系。
5. 故障模式：需要定义唯一标识、关键属性、状态和与其他对象的关系。
6. 维修工单：需要定义唯一标识、关键属性、状态和与其他对象的关系。
7. 备件：需要定义唯一标识、关键属性、状态和与其他对象的关系。

7.4 AI与人的分工

7.5 技术选型说明

• 材料可识别技术：智能体、API与系统集成。
• 选型原则：先选择能验证核心假设的最简单路径，再根据准确率、成本、时延和部署约束升级。
• Agent或工作流：只有任务涉及多步判断、工具调用或状态管理时才使用Agent；稳定规则优先交给确定性工作流。
• 知识库/RAG：涉及企业知识时必须提供引用、版本和权限过滤；无知识检索需求时不强行使用。
• 部署方式：由数据敏感度、时延、并发、可运维性和企业基础设施共同决定，材料未披露最终选择。

八、项目交付过程

8.1 第一阶段：需求调研（Audit）

材料未披露访谈岗位、跟岗次数和需求变化记录。正式交付时，FDE应分别访谈战略层、运营层和执行层，并至少跟随真实用户完成3次端到端任务。调研输出应包括As-Is流程、痛点优先级、干系人、项目边界和成功标准。

8.2 第二阶段：数据与知识准备

材料中的数据线索

• :22 — OnCall（距工单发布仅 3 分钟）：。
• 这 3 分钟里 OnCall 完成了：读日志 → 查服务端数据 → 排除"权限问题"假设 → 把故障定性为前端渲染 → 提出一个鉴别性问题（刷新后是否显示，直接区分"数据问题"与"渲染时序问题"）。
• 支持人员 Doan 将其提升为升级工单（Escalation raised by @Doan）。
• 四、工单 C 完整时间线：20 分钟的分钟级还原。

数据准备需执行4C检查：完整性、口径一致性、准确性与时效性；敏感字段先脱敏，再划分训练集、验证集、盲测集和异常集。业务专家负责确认标签与知识版本。

8.3 第三阶段：PoC验证（Evals）

8.4 第四阶段：开发与迭代

交付范围应覆盖数据管道、AI能力、工作流、接口、权限、异常处理、日志、监控和用户界面。材料可识别的技术包括智能体、API与系统集成。材料没有系统披露首版问题、根因和迭代前后指标，因此不能把推荐方案写成已经发生的项目事实。

建议至少保留一次完整迭代记录：问题现象 → 根因 → 调整内容 → 回归测试集 → 指标变化 → 是否进入下一阶段。

8.5 第五阶段：试运行与上线（Deployment）

当前阶段判断：生产运行/规模化（材料披露）。若进入生产，建议先选择3—5名真实用户和5—10个典型任务开展UAT，再按小流量、部门级、全量三个阶段灰度。上线前必须确认人工兜底、回滚、告警、用户培训与知识运营责任人。

九、项目结果与价值验证

9.1 核心结果

材料披露的结果（对外引用前需复核原始台账）

• 支持人员 Doan 将其提升为升级工单（Escalation raised by @Doan）。

9.2 价值分类

• 已披露价值：支持人员 Doan 将其提升为升级工单（Escalation raised by @Doan）。
• 初步价值：AI有机会减少重复劳动、缩短任务周期并提升判断一致性，但需通过真实用户试运行验证。
• 预期价值：若PoC与UAT达标，可进一步扩展到“备件预测与维修计划优化”；该项属于规划，不是已验证成果。

9.3 投入产出

建议按以下公式建立项目账：年度价值 = 效率节省 + 质量损失减少 + 经营增益；年度成本 = 建设投入 + 集成投入 + 模型/算力成本 + 知识运营与运维成本。ROI与回收周期只有在基线、运行周期和成本口径完整时才计算，当前材料不足以给出可靠数值。

十、问题、失败与关键迭代

10.1 已披露问题

• 这 3 分钟里 OnCall 完成了：读日志 → 查服务端数据 → 排除"权限问题"假设 → 把故障定性为前端渲染 → 提出一个鉴别性问题（刷新后是否显示，直接区分"数据问题"与"渲染时序问题"）。
• OnCall 在证据不足时（无法区分数据问题还是渲染时序问题）主动向人类提出鉴别性问题，而不是猜测——"没把握就交回人"。
• 现象：同一用户、同一问题，在两个界面（two surfaces）得到两种结果。

10.2 交付风险卡（需验证，不代表已经发生）

风险1：故障样本稀少且标签不完整

• 问题现象：待PoC和试运行观察。
• 根本原因：需通过数据分析、用户访谈和日志定位。
• 影响范围：可能影响准确率、使用率、稳定性或合规。
• 缓解方式：建立专项测试集、人工兜底、监控告警和回归验证。
• 关闭标准：风险指标达到双方约定门槛并连续稳定运行。

风险2：不同设备工况导致阈值不可直接复用

• 问题现象：待PoC和试运行观察。
• 根本原因：需通过数据分析、用户访谈和日志定位。
• 影响范围：可能影响准确率、使用率、稳定性或合规。
• 缓解方式：建立专项测试集、人工兜底、监控告警和回归验证。
• 关闭标准：风险指标达到双方约定门槛并连续稳定运行。

风险3：自动建议被误当作最终检修结论

• 问题现象：待PoC和试运行观察。
• 根本原因：需通过数据分析、用户访谈和日志定位。
• 影响范围：可能影响准确率、使用率、稳定性或合规。
• 缓解方式：建立专项测试集、人工兜底、监控告警和回归验证。
• 关闭标准：风险指标达到双方约定门槛并连续稳定运行。

十一、安全与生产化机制

数据安全

• 盘点设备、部件、测点、告警、故障模式、维修工单、备件中的个人信息、经营数据、工艺参数和知识产权。
• 训练、测试与日志数据按最小必要原则脱敏；明确外部模型是否留存数据。
• 权限继承业务系统，检索、查看、生成与执行分别授权。

AI安全

• 输出附置信度、依据或引用；低置信度和无答案任务拒答或转人工。
• 高风险动作必须人工确认，工具调用采用白名单、参数校验和最小权限。
• 建立模型、Prompt、知识和工作流版本管理，支持一键回滚。

持续运营

• 每周复盘错误样本，每月回归核心测试集，并监控故障识别召回率、误报率、平均修复时间。
• 明确业务知识负责人、技术运维负责人和价值指标负责人。

十二、FDE角色与交付复盘

本项目中，FDE应承担需求调研、业务流程建模、数据审计、PoC设计、方案集成、用户验收和价值复盘。最重要的判断不是“使用哪一个模型”，而是把项目收敛到“识别设备异常、辅助诊断并生成可执行维护建议”这一可验证任务，并为高风险结果设计人机边界。

1. 最重要判断：用可量化任务替代宽泛的AI转型目标。
2. 最难协调关系：业务价值负责人、真实用户、IT/数据团队与技术供应商之间的目标和责任边界。
3. 可复用能力：场景审计方法、测试集、指标体系、工作流、权限与监控组件。

十三、可复用资产

十四、下一阶段计划

1. 补证：补齐业务量、人工时长、质量损失、数据质量、真实运行范围和项目成本。
2. 验证：按建议测试集完成离线盲测，再用真实用户开展小范围UAT。
3. 扩展：当前场景稳定后，评估“备件预测与维修计划优化”，并把通用组件沉淀到企业AI平台。

下一阶段的首要目标不是增加功能，而是建立持续评测、错误样本回流、知识更新、模型监控和价值台账，使故障识别召回率、误报率可以长期追踪。

十五、结语：给同类企业的三条建议

1. 从高频、可衡量、风险可控的任务开始：先验证一个闭环，不把多个部门的愿望一次性塞进PoC。
2. 启动前先准备基线、数据和验收人：没有基线无法证明价值，没有真实用户和业务验收人无法进入生产。
3. 把人机边界和运营机制写进方案：明确AI做什么、人确认什么、异常如何降级、错误由谁修正，才能把演示变成可持续系统。