Speculative Decoding on 秀吉的技術記事

Speculative Decoding on 秀吉的技術記事 https://people.cs.nycu.edu.tw/~hctsai1006/blog/tags/speculative-decoding/ Recent content in Speculative Decoding on 秀吉的技術記事 Hugo -- 0.161.1 zh-tw Mon, 06 Jul 2026 09:00:00 +0800 推測解碼在可負擔硬體上到底有沒有用？RTX 3090 / V100 / vLLM 的三組可重現 benchmark https://people.cs.nycu.edu.tw/~hctsai1006/blog/posts/spec-decoding-accessible-hardware/ Mon, 06 Jul 2026 09:00:00 +0800 https://people.cs.nycu.edu.tw/~hctsai1006/blog/posts/spec-decoding-accessible-hardware/ 在 llama.cpp + 消費級 Ampere 上，推測解碼對 MoE 沒有淨加速，即使草稿接受率 100%；同型的 3090 換到 vLLM + MTP 卻是 +27.5%。決定效益的是引擎與方法，不是硬體等級。