1. 项目概述QUOKA如何革新LLM预填充效率在大型语言模型LLM推理过程中预填充阶段Prefill的注意力计算占据了70%以上的总延迟这成为制约实际应用性能的关键瓶颈。传统密集注意力机制需要计算查询Query与所有键Key的交互导致计算复杂度随序列长度呈O(T²)增长。QUOKAQuery-oriented KV selection for efficient Attention通过几何相似性分析提出了一种硬件无关的稀疏注意力算法在保持模型精度的同时实现了显著的加速效果。1.1 核心创新点解析QUOKA的核心突破在于发现了查询向量的几何分布特性与平均查询余弦相似度较低的离群查询往往与更多键产生强交互。如图2所示在Llama3模型的注意力矩阵中高Sq低余弦相似度查询红色广泛分布于键空间低Sq查询蓝色仅集中于局部区域这种分布特性在多层注意力头中具有普适性基于此观察QUOKA采用三阶段处理流程查询子选择保留最具代表性的NQ个低余弦相似度查询余弦相似度评分计算选定查询与键的归一化相似度分组感知聚合跨注意力头聚合分数并选择Top-K键值对这种设计使得在32K上下文长度下仅需保留12%的KV对即可维持97%的原始准确率RULER基准测试结果。2. 技术实现细节2.1 查询子选择算法查询子选择是QUOKA高效性的关键。如算法1所示其数学实现包含以下步骤# 输入: queries (b,nq,T,d), keys (b,nkv,T,d) MQ mean(Q, dim2) # 计算平均查询向量 SQ -CosineSimilarity(Q, MQ) # 计算负余弦相似度 Q_selected gather(topk(SQ, NQ), Q) # 选择Top-NQ查询该过程的理论依据源于Theorem 1对于任意键k若查询q与其夹角βq越小相似度越高且平均查询MQ与k夹角αq越大则q的选取优先级Sq-cos(MQ,q)越大。这保证了被选中的查询确实主导了注意力分布。实际部署中发现当块大小BCP超过512时选择NQBCP/16能在精度和效率间取得最佳平衡。过高的NQ会导致冗余计算而过低会丢失关键注意力路径。2.2 余弦相似度评分优化与传统点积注意力不同QUOKA采用余弦相似度作为评分函数S_{ij} \frac{Q_i \cdot K_j}{||Q_i|| \cdot ||K_j||}这种设计具有三大优势数值稳定性相似度范围固定在[-1,1]避免softmax溢出几何解释性直接反映向量空间中的角度关系硬件友好性可通过L2归一化矩阵乘实现兼容所有BLAS库在RULER基准测试中余弦相似度比标准点积注意力提升10.2%的KV选择准确率见表9。2.3 分组感知聚合策略现代LLM普遍采用分组查询注意力GQA架构QUOKA通过两步聚合解决多头兼容性问题查询维度取各查询-键得分的最大值保留异常重要交互头维度对KV头取平均得分利用头间相关性Q_norm Q / norm(Q, dim-1) # (b,nq,NQ,d) K_norm K / norm(K, dim-1) # (b,nkv,T,d) Q_group mean(Q_norm.reshape(b,nkv,nq//nkv,NQ,d), dim2) # GQA聚合 S matmul(Q_group, K_norm.transpose(-1,-2)) # (b,nkv,NQ,T) S_agg max(S, dim2) # (b,nkv,T) indices topk(S_agg, BSA) # 选择Top-BSA键这种设计在RTX 2080上实现了4.3倍的速度提升同时内存占用减少67%见图5d。3. 性能基准测试3.1 长上下文推理评估在RULER和LongBench基准上的测试结果表1、3显示模型方法4K Acc32K Acc衰减率Llama3-3B密集注意力87.5076.3112.8%QUOKA-25%86.9474.1414.7%Qwen3-4B密集注意力93.3288.545.1%QUOKA-25%92.5087.875.0%关键发现在25% KV预算下QUOKA平均精度损失仅2.3%性能衰减主要发生在极端长上下文16K场景模型容量越大QUOKA保持精度的能力越强3.2 硬件加速效果不同硬件平台上的加速比如下设备序列长度加速比功耗降低NVIDIA A10030K5.1×62%Intel Xeon W-212520K6.8×78%Jetson Orin NX8K3.7×53%特别值得注意的是QUOKA在CPU上的优势尤为显著。这是因为减少的内存带宽需求缓解了CPU的瓶颈标准BLAS操作可充分利用AVX-512指令集缓存命中率随KV减少而提升4. 实际部署建议4.1 参数调优指南根据实际部署经验推荐以下参数组合场景BCPBSANQ适用硬件云端推理2560.3×BCPBCP/8A100/H100边缘设备1280.2×BCPBCP/4Orin/SNPECPU服务640.15×BCPBCP/2Xeon/EPYC关键调节原则BCP增大可提升吞吐但增加首令牌延迟BSA与模型注意力的稀疏程度正相关NQ过小会导致注意力模式失真4.2 常见问题排查问题1长文本生成质量下降检查余弦相似度计算是否进行L2归一化验证GQA头的聚合方式是否与模型结构匹配逐步增加BSA值观察质量变化曲线问题2CPU端加速比不达预期使用MKL/OpenBLAS等优化数学库确保KV缓存内存对齐64字节边界启用BLAS多线程并行OMP_NUM_THREADS问题3与FlashAttention兼容性问题禁用FlashAttention的因果掩码将QUOKA输出作为FlashAttention的输入KV检查半精度FP16/BF16下的数值稳定性5. 扩展应用场景5.1 数学推理加速在Math500基准测试中QUOKA展现出意外的优势方法准确率生成速度密集注意力72.3%1.0×QUOKA73.8%3.2×生成专用稀疏70.1%2.7×这种现象可能源于数学问题求解依赖特定关键步骤QUOKA保留的离群查询恰好对应逻辑推理节点错误答案往往源于注意力分散而非聚焦5.2 多模态扩展初步实验表明QUOKA原理可迁移至视觉Transformer将图像patch视为token空间相邻patch具有天然余弦相似性在CLIP模型上实现2.1倍编码加速当前限制需要调整查询选择策略适应二维结构部分视觉任务依赖全局注意力与窗口注意力的协同有待探索