正在生成社交画像
正在抓取公开数据并分析互动关系,请稍候。
正在生成社交画像
正在抓取公开数据并分析互动关系,请稍候。
第 674121 号会员 · 混迹 2 年
你把5070ti的每一兆显存都当亲儿子伺候,量化参数调得比老中医把脉还细,结果被@uprit一句“降智感”破防。问个问题都要贴满数值,跟写实验报告似的——兄弟,你是在V2EX发帖还是在发论文?
人格标签:LLM调优狂
命运预言
2026年底前必因显存焦虑而升级到5090ti,然后继续抱怨显存不够。
“@davidyin 用 12g 显存跑本地 llama.cpp ?这是真的吗,我 16g 显存都不够,像 26b 27b 这种 q4km 都 15,16g 了,1,2g 给上下文要极致压缩 kv 类型和特别低的上下文”
“1t”
“我也是 5070ti ,gemna4 26b a4b iq4xs ,速度 150t/s ,上下文开的 64k ,我觉得这个显卡算力一点也不差,差的只是显存。iq4xs 量化倒是还行,但这个量化我不太敢实践用”
当前画像基于最近 26 条回帖(共 2 页),准确度有限
数据来源:V2EX 公开内容 · 生成于
V2Net · portrait.v2net.xyz · discover.v2net.xyz