AI 工程化题库
这部分是 AI 后端岗位、平台岗位、技术总监面非常重要的一块。
你最稳的说法是:
我的强项不是训练模型,而是把 AI 能力服务化接入业务系统,并把上下文、超时、重试、降级、日志、审计和联调治理一起做好。
一、什么是 AI 工程化
AI 工程化是把模型能力从“能跑 demo”变成“能稳定服务业务”的过程,包括模型接入、服务化、工作流编排、上下文治理、评估、监控、灰度、版本管理和运维治理。
二、如何把模型能力接入业务系统
我一般会分成几层:
- 接口契约层
- 业务编排层
- 模型调用层
- 结果校验和落库层
- 日志、监控和审计层
展开说
- 先定义输入输出
- 模型服务和业务服务解耦
- 业务层负责参数整理、上下文拼装、超时重试和降级
- 模型层只负责推理
- 结果需要做格式校验、异常兜底和可追踪
三、为什么模型服务和业务服务要解耦
因为模型推理和业务逻辑的生命周期、资源特征、扩缩容方式都不同。
四、AI 服务超时、慢、结果不稳定怎么办
- 设置超时和重试边界
- 做降级策略
- 必要时缓存结果
- 记录 request / response / trace
- 对结果做格式校验
- 对 badcase 做回流和人工复核
五、Prompt 工程怎么理解
Prompt 工程的重点不是花哨措辞,而是把任务目标、上下文、约束条件、输出格式和失败处理设计清楚。
六、AI 服务为什么要做可观测性
你要会讲:
- 请求日志
- 输入输出摘要
- token 消耗
- 时延
- 错误率
- 命中率
- 回退率
- 模型版本
七、如何做模型灰度和版本切换
- 配置化模型路由
- 按用户 / 场景 / 百分比灰度
- 保留回滚能力
- 对比效果指标
八、如何和算法团队协作
我会先把几件事约定清楚:
- 输入输出契约
- 错误码和超时
- 模型版本
- 线上指标
- 灰度和回滚
- badcase 回流机制
九、结合你的项目怎么讲
海外业务平台
- AI 识别只是能力层
- 真正复杂的是如何把识别、鉴定、订阅支付、后台和归因串起来
- 你做的是能力落地和链路治理
AI 辅助研发
- 复杂业务文档梳理
- AI 辅助单测
- 代码理解和 review
- 需求拆解
- Agent 协作
十、技术总监最容易追问的点
1. 你做过真正的 AI 工程化吗
我更多是在 AI 能力服务化接入和研发流程工程化这一侧,不是模型训练 owner,但我对模型能力如何进入业务系统、如何做上下文、超时、降级、评估和联调有比较深的实践。
2. AI 工程化和普通后端最大的区别
模型能力本身存在不确定性,所以除了正常接口治理,还要额外关注输出稳定性、评估、版本路由和 badcase 回流。
十一、你最适合背的总结句
我对 AI 工程化的理解,不是把模型接上就结束,而是要把模型能力和业务系统之间的那层服务化、编排、超时、降级、日志、评估和版本治理做好。我的强项也主要在这层,把 AI 从能跑变成能稳定落地。