OpenAI 分析：训练神经网络所需算力每 16 个月减半
OpenAI 发布分析，指出自 2012 年以来，在 ImageNet 分类上达到同等性能所需训练算力每 16 个月下降一半。达到 AlexNet 水平如今所需算力比 2012 年少 44 倍，而同期摩尔定律只能带来 11 倍的成本改进；结果表明在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 分类数据量化算法进步的速度，读者可据此比较算法效率与摩尔定律的贡献差异。
#数据/训练
OpenAI：官网动态精选AI 评分6161
Eugene Yan：WritingAI 评分4848 推荐系统中的偶然性：准确率之外被忽视的指标
推荐系统不应只追求准确率，偶然性（serendipity）同样重要。作者梳理了 10+ 篇论文，总结出多样性和新颖性两类衡量指标：多样性可基于商品元数据或用户共现的余弦相似度计算，新颖性则通过推荐项在全体用户中的出现频率来衡量。准确率指标（如 NDCG、MAP、AUC、recall@n）因库支持完善、文献通用而更常被采用，偶然性指标则缺乏统一标准。
Hugging Face 社区博客AI 评分5050 Hugging Face 教程：如何用 Transformers 和 Tokenizers 从零训练新语言模型
Hugging Face 博客发布教程，讲解如何使用 Transformers 和 Tokenizers 从零训练一个新的语言模型。
Eugene Yan：WritingAI 评分4343 用 PyTorch 中的图与 NLP 击败基线推荐系统
在矩阵分解基线推荐系统取得约 0.8 AUC-ROC 的基础上，作者尝试用图与 NLP 方法进一步提升效果。做法是把商品对及其关联分数构建成加权图，经随机游走生成序列，再用 word2vec 学习商品嵌入向量，并基于嵌入相似度做推荐。作者还提到 Node2Vec 因内存占用过高、在 64GB 实例上也无法跑完。
Eugene Yan：WritingAI 评分4848 如何在笔记本上用 PyTorch 构建强基线推荐系统
基于 Amazon 电子产品与图书数据集（1996 年 5 月至 2014 年 7 月），在 16GB 内存笔记本上用 PyTorch 构建推荐系统基线。电子产品数据集含 418,749 个商品和 4,005,262 个商品对，图书数据集含 1,948,370 个商品和 26,595,848 个商品对，稀疏度均为 0.9999。
Lilian Weng：Lil'Log精选AI 评分5757 进化策略
进化策略是一种在目标函数解析形式未知或无法直接计算梯度时，用于优化模型参数的黑箱优化算法。它作为随机梯度下降的替代方案，适用于多种优化场景。文章介绍了模拟退火、爬山法、Nelder-Mead方法等经典进化策略，并探讨了该方法在深度强化学习中的应用。通过评估目标函数值而非依赖梯度信息，进化策略为复杂优化问题提供了有效路径。
推荐理由：这篇五年前的进化策略入门，至今仍是理解黑箱优化的最佳起点，Lilian Weng的笔法清晰，做RL的朋友可以当字典翻。
Lilian Weng：Lil'LogAI 评分4242 深度神经网络是否严重过拟合？
深度神经网络因参数众多且训练误差易达完美，常被认为会严重过拟合，却仍能有效泛化到样本外数据，这一悖论困扰着许多从传统机器学习转型的研究者。文章更新于2019年5月27日，新增了Lottery Ticket Hypothesis部分，该假说通过网络稀疏性为理解泛化能力提供了新视角。内容从困惑切入，分析深度学习与传统方法的差异，探讨过拟合问题的本质，但未提供具体实验数据或指标。
Lilian Weng：Lil'LogAI 评分4747 元学习：学习快速学习
元学习，又称“学会学习”，旨在设计能够快速适应新任务或环境的模型，仅需少量训练样本。其主流方法包括三类：基于度量的方法，通过学习高效的距离度量；基于模型的方法，利用带有内部或外部存储的（循环）网络；以及基于优化的方法，通过显式优化模型参数以实现快速学习。此外，文章提及已有中文翻译版本可用。
Lilian Weng：Lil'LogAI 评分4141 从自编码器到Beta-VAE：生成模型的演进之路
本文系统梳理了自编码器系列模型的演进历程。自编码器通过瓶颈神经网络结构学习高维数据的压缩表示，其副产品是可用于降维、特征提取等任务的潜在编码。文章重点介绍了变分自编码器（VAE）及其关键变体Beta-VAE，它们通过引入概率框架和解缠约束，显著提升了生成能力。此外，还涵盖了去噪、稀疏等经典改进模型，并补充了后续发展如VQ-VAE与TD-VAE的相关内容。
Lilian Weng：Lil'Log精选AI 评分5555 策略梯度算法
该文章系统梳理了策略梯度算法的发展脉络，深入解析其工作原理，并详细介绍了从基础到前沿的多种算法，包括PPO、SAC、TD3、IMPALA等主流方法。文章自2018年起持续更新，陆续新增了D4PG、SVPG、PPG等新算法，并补充了关于PPO的最新讨论。文中还提供了韩语及中文等多个语言版本的翻译，便于不同读者参考。
推荐理由：这篇是当年策略梯度方法的“圣经”级综述，现在看虽然有些过时，但想理解PPO、SAC的来龙去脉还得从这儿啃起。
OpenAI：官网动态精选AI 评分7373 OpenAI 发布强化学习算法 Proximal Policy Optimization (PPO)
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），性能与当时最先进方法相当或更好，同时实现和调参更简单。因易用且表现良好，PPO 已成为 OpenAI 内部默认的强化学习算法。
推荐理由：OpenAI 官方宣布 PPO 算法开源，并说明其成为内部默认强化学习算法的原因，可帮助读者了解该方法的定位。
OpenAI：官网动态AI 评分5454 OpenAI 探讨现实中的错误奖励函数问题
OpenAI 发布博文，探讨强化学习算法因奖励函数设定错误而出现意外、反直觉行为的一种失败模式，并计划具体展开该问题的表现方式。
Eugene Yan：WritingAI 评分4343 产品分类 API 第二部分：数据准备
产品分类 API 系列第二部分聚焦训练前的数据清洗与准备，通过"同标题同类别产品数 / 总产品数"衡量数据纯度，并剔除同标题不同类别的疑似错分样本。标题处理流程包括将非 ASCII 字符编码为 ASCII、转小写、用自定义正则替代 nltk.tokenize 分词，以及结合 nltk 停用词、matplotlib 颜色名和自定义垃圾词（如 free、international）去停用词。