WeightQuantBatchMatmulV2【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明算子功能完成一个输入为伪量化场景的矩阵乘计算并可以实现对于输出的量化计算。计算公式$$ y x ANTIQUANT(weight) bias $$公式中的$weight$为伪量化场景的输入其反量化公式$ANTIQUANT(weight)$为$$ ANTIQUANT(weight) (weight antiquantOffset) * antiquantScale $$当需要对输出进行量化处理时其量化公式为$$ \begin{aligned} y QUANT(x ANTIQUANT(weight) bias) \ (x ANTIQUANT(weight) bias) * quantScale quantOffset \ \end{aligned} $$当不需要对输出再进行量化操作时其计算公式为$$ y x ANTIQUANT(weight) bias $$参数说明参数名输入/输出/属性描述数据类型数据格式x输入矩阵乘运算中的左矩阵。FLOAT16, BF16NDweight输入矩阵乘运算中的右矩阵。INT8, INT4, INT32, FLOAT8_E4M3FN, HIFLOAT8, FLOAT4_E2M1ND, FRACTAL_NZantiquant_scale输入反量化参数中的缩放因子对应公式的antiquantScale。FLOAT16, BF16, UINT64, INT64, FLOAT8_E8M0NDantiquant_offset输入反量化参数的偏置因子对应公式的antiquantOffset。FLOAT16, BF16, INT32NDquant_scale输入量化参数的缩放因子对应公式的quantScale。FLOAT32, UINT64NDquant_offset输入量化参数的偏置因子对应公式的quantOffset。FLOAT32NDbias输入矩阵乘运算后累加的偏置对应公式中的bias。FLOAT16, FLOAT32, BF16NDy输出矩阵乘运算的计算结果。FLOAT16, BF16, INT8NDAtlas A2 训练系列产品/Atlas A2 推理系列产品weight只支持INT8、INT4、INT32。antiquant_scale只支持FLOAT16、BF16、UINT64、INT64。Atlas A3 训练系列产品/Atlas A3 推理系列产品weight只支持INT8、INT4、INT32。antiquant_scale只支持FLOAT16、BF16、UINT64、INT64。Ascend 950PR/Ascend 950DTquant_scale和quant_offset暂不支持。约束说明不支持空tensor。支持连续tensor非连续tensor只支持转置场景。调用说明调用方式样例代码说明aclnn接口test_aclnn_weight_quant_batch_matmul_v2通过aclnnWeightQuantBatchMatmulV2aclnnWeightQuantBatchMatmulV3aclnnWeightQuantBatchMatmulNz等方式调用WeightQuantBatchMatmulV2算子。【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考