如何用 LlamaIndex 构建并评测一个 QA 系统
LlamaIndex 提供 Question Generation 与无标注 Evaluation 模块,用三步流程评测检索增强问答系统:先用 DataGenerator 从文档生成问题,再用 QueryEngine 生成答案与 source nodes,最后判断三者是否匹配。
LlamaIndex 提供 Question Generation 与无标注 Evaluation 模块,用三步流程评测检索增强问答系统:先用 DataGenerator 从文档生成问题,再用 QueryEngine 生成答案与 source nodes,最后判断三者是否匹配。
LangChain 开源的 LLM 问答链自动评测工具现推出免费托管的 hosted 应用与 API,支持 Demo 和 Playground 两种用法,可自动生成 QA 测试集并给用户配置的 QA 链打分。
Eugene Yan 用 gpt-3.5-turbo、gpt-4、LangChain、Pinecone 和 Discord 搭建了 /summarize、/eli5、/sql、/search、/board 等工具,用于研究、反思和规划。
LangChain 调整抽象,引入只要求实现 get_relevant_documents 方法的 Retriever 概念,方便使用 LangChain 之外构建的检索器(如 OpenAI 的 ChatGPT Retrieval Plugin)并鼓励混合搜索等替代检索方法。
LangChain 与社区成员 Francisco Ingham、Jon Luo 发布 LLM 与 SQL 结合的实践指南,并宣布 3 月 22 日举行一小时网络研讨会。
推荐理由:LangChain 团队系统整理了让 LLM 生成有效 SQL 的三类问题与对应解法,方法可直接迁移到自己的 Text-to-SQL 场景。
作者用 Sentence Transformers 的语义搜索功能构建了一个歌单生成器,将歌词按段落切分并嵌入,再根据文本提示检索最相关的歌曲,并用 Gradio Blocks API 搭建多步交互演示,部署在 Hugging Face Spaces 上。
Hugging Face 发布嵌入入门教程,讲解嵌入如何以数值向量表示文本、图像等信息的语义,并用 Sentence Transformers 的 sentence-transformers/all-MiniLM-L6-v2 模型(输出 384 维向量)对 13 条美国 Medicare FAQ 生成嵌入。
Eugene Yan 总结工业界推荐与搜索系统最常见的离线在线、召回加排序设计模式。文章结合 Alibaba、Facebook、JD、DoorDash、LinkedIn 的论文与技术博客,讲解 embedding 与 ANN、知识图谱、XGBoost 等具体实现,并给出从简单 embedding 召回起步的搭建建议。
文章探讨了构建开放域问答系统的方法,指出该类系统能够回答事实性知识相关问题,可应用于聊天机器人或AI助手等场景。文中分析了闭卷和开卷两种技术路线,并提及在已有强大预训练语言模型的前提下,如何实际搭建这类系统。文章在2020年11月12日更新后,新增了使用OpenAI API(测试版)进行闭卷事实问答的具体示例。