数据与权限
确认哪些数据可用、谁能访问、哪些内容不能进入模型上下文。
- 身份权限映射
- 敏感数据处理
- 来源和版本追踪
项目阶段
每一步都要产出可评审的证据。
- 01
诊断
访谈业务、技术和一线使用者，明确流程边界、数据来源、权限、异常和成功指标。
- 02
验证
用代表性样本构建原型，验证价值、成本、延迟、质量和人工协作方式。
- 03
集成
接入企业知识库、业务系统、工具、审批、日志和身份权限，形成可运行工作流。
- 04
治理
建立评估集、回归测试、提示注入检查、人工复核、监控指标和发布门禁。
- 05
赋能
把项目过程转化为内部 playbook、课程、模板和运营节奏，让团队可以持续迭代。
质量门禁
上线前必须知道系统什么时候不能被信任。
答案质量
建立覆盖常见问题、边界问题和高风险问题的评估样本。
- 黄金集
- 召回和引用检查
- 人工复核标准
动作安全
明确 Agent 可执行动作、审批条件、失败恢复和审计要求。
- 工具目录
- 审批策略
- 回滚与告警
运营指标
上线后持续观察质量、成本、延迟、使用率和人工介入比例。
- 指标看板
- 发布记录
- 复盘节奏
项目启动
一次好的 AI 项目启动会，应该能定义流程、证据和上线门禁。
如果当前试点只有 demo，没有评估、权限或系统接入计划，可以先从交付诊断开始。