跳到正文
热点事件观察中

作者实际运行网络摄像头帧视觉问答实验:Gemma 4 12B QAT 经 llama.cpp 约 1 FPS,OpenAI gpt-6-luna 约 0.2 FPS

2 篇报道2 个报道来源2 天前更新

先了解这件事

事实说明

作者实际用本地摄像头帧做视觉问答实验:通过 llama.cpp 运行 Gemma 4 12B QAT,在 RTX 3090 上对每帧三个问题约 1 FPS;同一示例也调用 OpenAI gpt-6-luna,约 0.2 FPS,作者推测低帧率与每题每帧需单独连接有关。Jev 原有请求格式仅描述文本/JSON,作者为自己的本地实验加入了图像 attachments 字段。

报道时间线

沿着报道,了解事件的不同侧面。

9月26日
  1. Hacker News 热门(buzzing.cc 中文翻译)
    用读取 token 概率实现 Jev 风格的单函数 LLM 封装器,支持视觉模型

    作者 allanrbo 分享一个借鉴 Jev 思路的单函数封装方法:让模型只输出一个选项字母,通过 logprobs 读取各选项的 token 概率作为结构化答案,并扩展 attachments 字段支持图片输入。

  2. Hacker News:AI 热帖
    作者分享用 logprobs 读取 LLM 选项概率的单函数封装,并扩展到视觉模型

    作者受 Jev 及 OpenJev、SemIf 启发,实现了一个单函数封装:让 LLM 只生成一个选项字母,再读取 top_logprobs 得到各选项概率。

本事件热度走势

当前热度 5·可比范围峰值 20(9月26日 13:00)·近 24 小时可比范围变化 -50%

051015209月26日13:009月27日05:009月27日20:009月28日12:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。