PromptArmor 披露 Writer.com 间接提示词注入导致数据外泄漏洞
PromptArmor 披露 Writer.com 存在间接提示词注入漏洞：攻击者在网页中用白色小字隐藏指令，用户将该网页作为资料源后，LLM 会遵照隐藏指令渲染 markdown 图片或链接，把上传文件内容、聊天记录等敏感数据通过 HTTP 参数外传至攻击者服务器。
推荐理由：原文给出完整攻击链、复现细节和披露时间线，读者可以据此理解间接提示词注入如何在 LLM 应用中导致数据外泄。
技术方向
推理能力 最新动态
让大模型先想再答的能力：思维链、推理模型，数学与逻辑评测上的突破和争议。
565 条精选近 30 天 47 条共收录 2,849 条
更新
精选归档 · 第 29 页
PromptArmor：Threat Intelligence精选AI 评分6666
OpenAI：官网动态精选AI 评分7373 OpenAI 用过程监督提升数学推理，取得新 SOTA
OpenAI 训练模型在数学问题求解上取得新的 state-of-the-art，方法是对每个正确的推理步骤给予奖励（过程监督），而非只奖励最终正确答案（结果监督）。除提升性能外，过程监督还有对齐收益：它直接训练模型产生人类认可的思维链。
推荐理由：原文说明过程监督相对结果监督的性能提升与对齐收益，读者可了解一种训练思路的取舍。
Anthropic：Transformer Circuits精选AI 评分7373 Transformer残差流中的特权基向量
研究发现Transformer模型的残差流中存在“特权基向量”现象，即某些坐标方向持续出现异常大的激活值，这与“无特权基”的理论预期相悖。通过实验，研究者将根源指向Adam优化器中的逐维度归一化器，而非层归一化或浮点精度问题。在2亿参数模型中，典型层有20至60个维度的激活绝对值超过6。研究还提出使用峰度作为检测指标，发现激活分布峰度普遍大于3，进一步证实了基向量对称性被破坏。
推荐理由：揭示Transformer内部基依赖性的根源，帮助研究者改进模型可解释性。
Anthropic：Transformer Circuits精选AI 评分7676 Transformer电路逆向工程练习题集
本练习集旨在通过动手编写注意力头的具体权重矩阵，从参数层面精确理解Transformer工作机制。内容涵盖：详解注意力头中W_Q、W_K、W_V、W_out矩阵的作用；分析读写子空间的控制矩阵及其乘积意义；探讨如何用两个矩阵等效表示注意力头及其秩的含义；研究跨层注意力头如何通过矩阵运算传递信息。并通过具体数值示例，演示多个“前词注意力头”如何协作实现“查看前两个词”的虚拟功能，以及手动构建实现“归纳头”的“指针算法”步骤。
推荐理由：帮助开发者亲手拆解Transformer内部机制，提升可解释性研究能力。
Hugging Face 社区博客精选AI 评分6565 如何用 Transformers 的不同解码方法生成文本
Hugging Face 发布教程，讲解在 Transformers 中使用不同解码方法进行语言生成。文章覆盖多种 decoding 方法的选择与使用方式，原文正文未能抓取，仅标题可用。
推荐理由：原文系统讲解 Transformers 中不同文本解码方法的用法与差异，读者可按需选择生成策略。