CANN/ops-transformer Chunk_gated_delta_rule算子测试框架

Chunk_gated_delta_rule算子测试框架【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformer功能说明基于pytest测试框架实现Chunk_gated_delta_rule算子的功能验证CPU侧复现算子功能用以生成golden数据NPU侧通过torch_npu进行算子直调获取实际数据精度对比进行CPU与NPU结果的精度对比验证算子功能当前实现范围参数限制支持batch_size大于0。支持seqlen序列长度。支持NK、NV head数NV需要为NK倍数。支持DK、DV 不超过128。支持data_type为BF16。环境配置前置要求torch_npu安装包下载路径需及时更换为最新版本torch_npu安装教程完成环境安装和环境变量配置具体操作请参考ops-transformercustom包调用支持custom包调用文件结构pytest文件结构说明test_run.sh # 执行脚本chunk_gated_delta_rule_golden.py # cpu侧算子golden实现以及cpu golden与npu结果精度对比pytest.ini # 创建ci单算子和graph图模式的测试标记单用例测试:test_chunk_gated_delta_rule_single.py # 测试单用例运行主程序chunk_gated_delta_rule_operator_single.py # CPU侧算子逻辑实现获取golden与npu算子直调test_chunk_gated_delta_rule_paramset.py # 单用例入参配置使用方法在pytest文件夹路径下执行运行测试用例单用例调测1、手动配置test_chunk_gated_delta_rule_paramset.py的参数2、执行指令bash test_run.sh single【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考