返回
精选AI 评分 64/100

Answer.AI 开源 cachy,让 notebook 中 LLM 调用快 60 倍

Answer.AI 官方研发博客(RSS)·2025-10-01 08:00·346天前·Tommy
AI 导读

Answer.AI 发布开源 Python 包 cachy(pip install pycachy),通过补丁 httpx 的 send 方法,把 Anthropic 和 OpenAI SDK 的 LLM 调用响应自动缓存到本地并在相同请求时复用,无需编写 mock。

Answer.AI 官方研发博客(RSS)
精选
64AI 编辑部评分,满分 100

Answer.AI 开源 cachy,让 notebook 中 LLM 调用快 60 倍

2025-10-01 08:00· 346天前· Tommy
AI 导读

Answer.AI 发布开源 Python 包 cachy(pip install pycachy),通过补丁 httpx 的 send 方法,把 Anthropic 和 OpenAI SDK 的 LLM 调用响应自动缓存到本地并在相同请求时复用,无需编写 mock。

推荐理由

原文给出了补丁原理和提速数据,读者可以直接复用这个零代码缓存方案加速自己的 LLM 测试和 notebook 工作流。

按该来源的展示范围,站内仅提供摘要。

前往原站阅读(在新标签页打开)

来源:Answer.AI 官方研发博客(RSS)· answer.ai