按该来源的展示范围,站内仅提供摘要。
前往原站阅读(在新标签页打开)Answer.AI 开源 cachy,让 notebook 中 LLM 调用快 60 倍
AI 导读
Answer.AI 发布开源 Python 包 cachy(pip install pycachy),通过补丁 httpx 的 send 方法,把 Anthropic 和 OpenAI SDK 的 LLM 调用响应自动缓存到本地并在相同请求时复用,无需编写 mock。
Answer.AI 官方研发博客(RSS)
精选
64
AI 编辑部评分,满分 100Answer.AI 开源 cachy,让 notebook 中 LLM 调用快 60 倍
Answer.AI 发布开源 Python 包 cachy(pip install pycachy),通过补丁 httpx 的 send 方法,把 Anthropic 和 OpenAI SDK 的 LLM 调用响应自动缓存到本地并在相同请求时复用,无需编写 mock。
推荐理由
原文给出了补丁原理和提速数据,读者可以直接复用这个零代码缓存方案加速自己的 LLM 测试和 notebook 工作流。
来源:Answer.AI 官方研发博客(RSS)· answer.ai