吴恩达老师谈「AI 工程中的 “项目阶段校准”」

来自吴恩达老师 @DeepLearningAI Andrew's Letters，他认为：同一项 AI 工程任务，在 0 到 1 的早期项目和成熟产品里，正确做法完全不同。早期设计过度和成熟期设计不足都有害。吴恩达认为，按项目阶段选择打法是 AI 工程里最难、也最重要的能力之一。
https://www.deeplearning.ai/the-batch/what-stage-is-your-project-takeaways-for-ai-engineering

这是一条贯穿主线：他此前写过 5 封“AI Engineering Skills Map”主题的信，“按项目阶段校准”在其中反复出现。这一封专门讲为什么。

评估的三个阶段，以 AI 自动回复客服邮件为例：
· 早期：人工看十几个样例，判断回复是否合理。
· 中期：几百条测试样例，加一份书面评分标准。
· 成熟期：上万条以上的样例和更细的评分标准，并且要评估下游影响，比如这封邮件是否让客户更愿意回来。

架构：
· 早期如果只是为了快速验证想法，随意一些的架构也可以，不必太在意效率、数据模式和第三方服务成本。
· 项目成熟后，要认真权衡延迟、可用性、一致性、可靠性、可维护性、简洁性和成本。

产品反馈：从拉两三个人问问看法，到大规模用户研究、A/B 测试和使用数据分析。

人的惯性：
· 大公司的工程师进入创业公司后，常常坚持过慢、过严的流程。
· 创业公司的工程师进入大公司后，产品会撞上性能天花板，直到学会超越“快但不准”的评估方式。

对组织的建议：一刀切的公司政策（比如上线前必须做某类测试）可能适得其反。大公司也应该保留小型创新项目，所以人人都该会快打法，也都该会慢而严谨的打法。