NVIDIA 研究解读:检索增强与长上下文 LLM 的对比与结合
LlamaIndex 解读 NVIDIA 研究,用 Nemo GPT-43B(扩展至 16K)与 LLaMA2-70B(扩展至 16K/32K)在 7 个数据集上比较检索增强与长上下文扩展。
LlamaIndex 解读 NVIDIA 研究,用 Nemo GPT-43B(扩展至 16K)与 LLaMA2-70B(扩展至 16K/32K)在 7 个数据集上比较检索增强与长上下文扩展。
Meta AI 研究团队提出 RA-DIT(检索增强双重指令微调),通过分别微调 LLM 与检索器,让任意 LLM 获得检索能力。在知识密集型任务上,RA-DIT 65B 的 0-shot 平均 EM 达 50.5,高于 LLAMA 65B REPLUG 的 43.1 和 LLAMA 65B 的 32.9;64-shot 微调下平均 60.9,略超 ATLAS 的 56.8。
Hugging Face 博客介绍 Code Llama,一个基于 Llama 2 的代码模型。正文抓取失败,仅标题可用,细节以原文链接为准。
Llama 2 发布,可在 Hugging Face 上获取。