AI 工程化题库

这部分是 AI 后端岗位、平台岗位、技术总监面非常重要的一块。

你最稳的说法是:

我的强项不是训练模型,而是把 AI 能力服务化接入业务系统,并把上下文、超时、重试、降级、日志、审计和联调治理一起做好。

一、什么是 AI 工程化

AI 工程化是把模型能力从“能跑 demo”变成“能稳定服务业务”的过程,包括模型接入、服务化、工作流编排、上下文治理、评估、监控、灰度、版本管理和运维治理。

二、如何把模型能力接入业务系统

我一般会分成几层:

  1. 接口契约层
  2. 业务编排层
  3. 模型调用层
  4. 结果校验和落库层
  5. 日志、监控和审计层

展开说

  • 先定义输入输出
  • 模型服务和业务服务解耦
  • 业务层负责参数整理、上下文拼装、超时重试和降级
  • 模型层只负责推理
  • 结果需要做格式校验、异常兜底和可追踪

三、为什么模型服务和业务服务要解耦

因为模型推理和业务逻辑的生命周期、资源特征、扩缩容方式都不同。

四、AI 服务超时、慢、结果不稳定怎么办

  1. 设置超时和重试边界
  2. 做降级策略
  3. 必要时缓存结果
  4. 记录 request / response / trace
  5. 对结果做格式校验
  6. 对 badcase 做回流和人工复核

五、Prompt 工程怎么理解

Prompt 工程的重点不是花哨措辞,而是把任务目标、上下文、约束条件、输出格式和失败处理设计清楚。

六、AI 服务为什么要做可观测性

你要会讲:

  • 请求日志
  • 输入输出摘要
  • token 消耗
  • 时延
  • 错误率
  • 命中率
  • 回退率
  • 模型版本

七、如何做模型灰度和版本切换

  • 配置化模型路由
  • 按用户 / 场景 / 百分比灰度
  • 保留回滚能力
  • 对比效果指标

八、如何和算法团队协作

我会先把几件事约定清楚:

  1. 输入输出契约
  2. 错误码和超时
  3. 模型版本
  4. 线上指标
  5. 灰度和回滚
  6. badcase 回流机制

九、结合你的项目怎么讲

海外业务平台

  • AI 识别只是能力层
  • 真正复杂的是如何把识别、鉴定、订阅支付、后台和归因串起来
  • 你做的是能力落地和链路治理

AI 辅助研发

  • 复杂业务文档梳理
  • AI 辅助单测
  • 代码理解和 review
  • 需求拆解
  • Agent 协作

十、技术总监最容易追问的点

1. 你做过真正的 AI 工程化吗

我更多是在 AI 能力服务化接入和研发流程工程化这一侧,不是模型训练 owner,但我对模型能力如何进入业务系统、如何做上下文、超时、降级、评估和联调有比较深的实践。

2. AI 工程化和普通后端最大的区别

模型能力本身存在不确定性,所以除了正常接口治理,还要额外关注输出稳定性、评估、版本路由和 badcase 回流。

十一、你最适合背的总结句

我对 AI 工程化的理解,不是把模型接上就结束,而是要把模型能力和业务系统之间的那层服务化、编排、超时、降级、日志、评估和版本治理做好。我的强项也主要在这层,把 AI 从能跑变成能稳定落地。