热点事件观察中
作者实际运行网络摄像头帧视觉问答实验:Gemma 4 12B QAT 经 llama.cpp 约 1 FPS,OpenAI gpt-6-luna 约 0.2 FPS
2 篇报道2 个报道来源2 天前更新
先了解这件事
事实说明
作者实际用本地摄像头帧做视觉问答实验:通过 llama.cpp 运行 Gemma 4 12B QAT,在 RTX 3090 上对每帧三个问题约 1 FPS;同一示例也调用 OpenAI gpt-6-luna,约 0.2 FPS,作者推测低帧率与每题每帧需单独连接有关。Jev 原有请求格式仅描述文本/JSON,作者为自己的本地实验加入了图像 attachments 字段。
报道时间线
沿着报道,了解事件的不同侧面。
9月26日
- Hacker News 热门(buzzing.cc 中文翻译)用读取 token 概率实现 Jev 风格的单函数 LLM 封装器,支持视觉模型
作者 allanrbo 分享一个借鉴 Jev 思路的单函数封装方法:让模型只输出一个选项字母,通过 logprobs 读取各选项的 token 概率作为结构化答案,并扩展 attachments 字段支持图片输入。
- Hacker News:AI 热帖作者分享用 logprobs 读取 LLM 选项概率的单函数封装,并扩展到视觉模型
作者受 Jev 及 OpenJev、SemIf 启发,实现了一个单函数封装:让 LLM 只生成一个选项字母,再读取 top_logprobs 得到各选项概率。
本事件热度走势
当前热度 5·可比范围峰值 20(9月26日 13:00)·近 24 小时可比范围变化 -50%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。