1. 3D堆叠近存架构下的脉动阵列设计背景在人工智能计算领域大语言模型(LLM)的推理过程面临着严峻的内存墙挑战。传统计算架构中处理器与内存之间的数据搬运能耗往往超过实际计算能耗的5-10倍。这种数据搬运瓶颈在解码阶段尤为突出因为自回归生成过程需要频繁访问模型参数并产生大量中间结果。脉动阵列(Systolic Array)作为一种经典的计算架构通过将计算任务映射为空间-时间二维流水线实现了数据在计算单元间的规整流动。这种架构特别适合处理Transformer类模型中的密集矩阵乘加运算(GEMM)其核心优势在于数据局部性每个输入数据元素在被送入阵列后会在多个计算单元间重复利用并行计算阵列中的处理单元(PE)可同时执行大量乘加操作确定性延迟数据流模式固定便于硬件优化和性能预测然而传统脉动阵列在LLM推理中面临三个主要挑战静态数据流策略难以适应LLM解码阶段动态变化的计算模式固定形状的阵列结构无法高效处理MoE模型中专家层的非规则计算片外内存访问带宽成为性能瓶颈尤其在大规模模型场景下2. 可重构脉动阵列的微架构设计2.1 3D堆叠近存计算平台构建我们基于HBM3类3D堆叠内存构建计算平台关键设计参数包括逻辑层计算预算62W (受限于85℃峰值温度约束)内存带宽24TB/s (平衡DRAM功耗和逻辑层热预算)工艺节点7nm FinFET (使用ASAP7 PDK进行建模)与传统的2.5D封装相比3D堆叠技术通过TSV(硅通孔)实现逻辑层与DRAM层的垂直互连具有以下优势互连密度提升单位面积互连数量增加10-100倍传输能耗降低数据垂直传输距离缩短至微米级带宽可扩展性通过增加堆叠层数线性提升带宽2.2 可重构处理单元设计基础处理单元(PE)采用混合精度设计矩阵单元FP16精度支持4×4子矩阵乘加向量单元FP32精度处理激活函数和规约操作本地缓冲8KB多端口SRAM支持同时读写访问可重构性通过三个层次实现PE级重构通过多路选择器动态配置数据路径支持输出站留(OS)和输入站留(IS)两种基本模式可切换脉动/广播数据传递方式阵列级重构逻辑PE阵列支持从8×512到64×64的多种形状通过可编程互连网络实现拓扑变化每种形状对应不同的数据复用模式多PU协同8个处理单元(PU)间支持灵活的任务划分专家级并行不同PU处理不同专家层数据级并行同一专家层在PU间划分批次2.3 面积与功耗优化在2.35mm²的单PU面积预算下与传统设计对比计算面积占比从21.3%提升至58.6%缓冲面积从53.6%降至28.1%向量核心面积占比降至8.8%关键优化技术包括缓冲共享权重和激活缓冲区根据阵列形状动态分配控制逻辑融合将向量和矩阵单元的控制路径合并时钟门控按计算瓦片粒度关闭闲置PE的时钟热仿真显示在800MHz频率下矩阵单元功耗38.5W (62.3%总功耗)向量单元功耗14.2W (23.0%)互连网络功耗4.8W (7.8%)3. 硬件感知的调度优化方法3.1 动态数据流选择算法针对LLM解码阶段的特点我们开发了基于运行时分析的调度器for each operator in decoding graph: extract_dimensions(M, N, K) get_operator_shape() batch_size get_current_batch_size() # 选择阵列形状 if M 256: shape select_shape_for_largeM(batch_size) elif is_expert_layer(): shape select_shape_for_moe(batch_size) else: shape default_rectangular_shape() # 选择数据流策略 reuse_analysis analyze_reuse_pattern() if reuse_analysis.weight_reuse 3x: strategy IS_ST # 输入站留空间时间复用 elif reuse_analysis.activation_reuse 2x: strategy OS_S # 输出站留空间复用 else: strategy default_systolic() apply_configuration(shape, strategy)实验数据显示不同模型的最佳策略分布差异显著LLaMA3 70B(稠密模型)IS-S占比59.7%OS-S占比25.0%Qwen3 30B-A3B(MoE模型)IS-ST占比33.3%OS-ST占比18.1%3.2 MoE专家层优化针对混合专家模型的特有挑战我们提出三项优化专家预取根据路由概率预测即将激活的专家提前将专家权重从HBM加载到近存缓冲区减少动态路由导致的停顿批处理感知调度小批次(BS16)使用更宽的阵列形状(如16×256)大批次(BS≥32)采用更方的形状(如64×64)动态调整tiling策略以平衡计算和内存访问负载均衡监控各PU的专家执行时间当偏差超过15%时触发负载重新分配通过任务窃取机制处理长尾专家4. 性能评估与结果分析4.1 实验设置评估平台配置8设备系统张量并行度TP8预填充阶段统一使用NVIDIA H100解码阶段对比五种设计方案GPU基线(H100)MAC-Tree设计固定形状脉动阵列(48×48)固定形状脉动阵列(8×288)我们的可重构设计测试模型涵盖稠密和MoE两类模型参数量类型注意力机制备注OPT-66B66B稠密MHA标准TransformerLLaMA3-70B70B稠密GQA分组查询注意力Mixtral 8×22B22BMoEMHA8专家top-2门控Qwen3-30B-A3B30BMoEMHA128专家top-8门控DeepSeek-236B236BMoEMLA160专家混合注意力4.2 解码性能对比在批量大小32的测试中各方案的性能表现关键指标对比相对于GPU基线平均加速比11.47倍能效提升5.74倍相对于MAC-Tree平均加速比2.90倍能效提升2.40倍相对于48×48固定阵列平均加速比2.33倍能效提升1.05倍4.3 服务延迟分析在8K输入、1K输出的服务场景下测量两种延迟指标端到端延迟(E2E)从请求发出到最终响应令牌间延迟(TBT)相邻令牌生成的时间间隔结果分析在P50延迟下GPU基线是设计的2.1-3.0倍MAC-Tree是设计的1.3-1.8倍在P90延迟下MoE模型的差异更显著Qwen3场景中8×288固定阵列延迟达到设计的4.5倍4.4 能效分解测量解码阶段各组件能耗占比组件能耗占比主要优化手段矩阵单元62.3%动态精度切换时钟门控向量单元23.0%操作融合指令级并行互连网络7.8%拓扑感知路由链路电源管理其他控制逻辑6.9%状态机简化门控时钟能效提升主要来自三方面计算密度提升相同面积下PE数量增加2.1倍内存访问优化通过数据流策略减少35%的DRAM访问执行时间缩短动态调度使硬件利用率提升至82%5. 实际部署考量5.1 硬件实现挑战在7nm工艺下的实现经验时序收敛可重构互连引入额外5-7%的路径延迟通过寄存器重定时和关键路径优化解决最终频率达到800MHz目标电源完整性3D堆叠下的供电网络设计采用分布式稳压器和去耦电容矩阵电压降控制在5%以内热管理逻辑层热点温度差异达15℃采用温度感知的任务迁移策略动态频率调节保持结温85℃5.2 软件集成方案与现有推理框架的集成方式class ReconfigurableSAKernel : public LLMKernel { public: void configure(const ModelSpec spec) override { // 分析模型结构特征 analyze_model(spec); // 生成初始配置方案 initial_config generate_config(); // 注册运行时回调 register_runtime_monitor(); } void execute(Batch batch) override { // 动态调整批次策略 auto runtime_config adapt_to_batch(batch); // 执行计算 run_on_sa(batch, runtime_config); } private: Config initial_config; void analyze_model(const ModelSpec spec) { // 实现模型特征分析 } Config generate_config() { // 生成硬件配置 } void register_runtime_monitor() { // 设置性能监控回调 } Config adapt_to_batch(Batch batch) { // 动态调整配置 } void run_on_sa(Batch batch, Config cfg) { // 在SA上执行实际计算 } };5.3 扩展性与通用性该架构可扩展至其他应用场景计算机视觉动态调整阵列形状适应不同卷积核尺寸支持Winograd等变换算法科学计算可配置为细长阵列处理稀疏矩阵支持混合精度迭代求解推荐系统高效处理嵌入查找MLP组合动态负载均衡应对特征爆炸未来演进方向包括支持更灵活的数据流模式增加片上光互连降低通信开销与存内计算技术结合进一步突破能效瓶颈