跌跌撞撞地也是终于玩上酒馆了

steve · 发表于 2026-8-23 21:27:05

本帖最后由 steve 于 2026-8-24 00:08 编辑

打开了新世界的大门

前两天发帖提到的那些问题，不说全解决了，至少也是解决了一大半，今天爽玩一天

趁ox免费，抓紧体验一把。99次请求，3.03M的输入，0.22M的输出，但是缓存命中竟然只有5.8%，这是我最不能理解的地方了，按理说缓存命中不应该很高吗

如果是deepseek v4 pro，我今天一天大概花了16.6￥

镀铬的黄金鸟 · 发表于 2026-8-23 21:33:40

恭喜恭喜！

龙骧 · 发表于 2026-8-23 23:48:02

没有享受到哈基米2.5大免费时期
现在入场还是晚了点

灵闪 · 发表于 2026-8-23 23:55:04

真不错，用的哪个模型

凯凯凯凯凯酱 · 发表于 2026-8-24 08:56:08

用哈基米的反代，便宜量多。
说是容易封号，但我玩到我自己玉玉了不想玩了都没有封（）

inertia · 发表于 2026-8-24 09:32:54

因为酒馆的设计问题，他天生就缓存命中率很低，80%算极高水平的预设和卡组合
顺便，对于“不够大”的模型来讲，agent能力和文字能力某种程度上是冲突的
所以你会发现mimo和v4f写东西很多时候文笔是一坨的水平，但是gpt和gemini这种又能发挥超神

你试试meta那个muse spark和牛来oxalpha对比一下就知道了

灵闪 · 发表于 2026-8-24 10:34:50

我也不太理解，用DeepSeek的时候缓存命中特别低，用Gemini缓存命中就很高

inertia · 发表于 2026-8-24 23:16:27

酒馆缓存低的内生原因是它允许动态注入世界书条目和提示词
你自己看过世界书就会发现他有蓝灯绿灯的区别，绿灯就是动态注入，关键词触发
问题就出在这里，ds的缓存是精确匹配的，对于agent这种上文一大串的情况他压缩kv当然可以牺牲信息获得很好的概化
但是你酒馆的绝大多数预设都是自带历史对话小总结然后正则砍掉历史对话正文内容只留小总结，甚至有些为了让模型“读世界书”在历史对话后插入一个索引让模型回去再载入一遍世界书，那自然对ds而言你每次的输入接近50%的不同（我们假定你的历史对话从一半的地方开始被替换成小总结），然后再加上动态注入，世界书注入的内容也不一样了，自然缓存率不可能高
而Gemini是模糊缓存，所以没这个问题
顺便ds超长上下文注意力漂移我的理解也是这个压缩导致的，他把上文信息压没了一部分

按我的理解，只要酒馆还保持这种动态世界书注入的方法，就不可能跟ds的相性好
想解决这个问题也简单，你换成agent就行了，只不过代价是每轮对话总耗费token可能翻个十倍
好处大概是一命中率99%，二任何agent工作流配好了都能非常遵循上下文和处理对话，文风是模型本身的事跟框架无关

InsertXP · 发表于 2026-8-25 10:05:33

酒馆应该是正常命中低吧

		自动登录	找回密码
密码			立即注册

[讨论杂谈] 跌跌撞撞地也是终于玩上酒馆了