模型被窃取、数据被泄露——AI 推理服务面临的安全威胁比你想象的更多。本文讲解模型加密、推理过程的输入输出保护、对抗攻击防御以及如何在昇腾 NPU 上构建安全可靠的推理服务。一、AI 推理面临的安全威胁1.1 威胁全景┌──────────────────────────────────────────────────┐ │ AI 推理服务安全威胁全景 │ ├──────────────────────────────────────────────────┤ │ │ │ 模型层面 │ │ ├─ 模型窃取: 攻击者获取模型文件逆向商业机密 │ │ ├─ 模型篡改: 恶意修改模型权重导致输出异常 │ │ └─ 模型逆向: 通过查询还原模型结构和参数 │ │ │ │ 数据层面 │ │ ├─ 输入泄露: 用户输入的敏感数据被截获 │ │ ├─ 输出泄露: 模型输出中包含训练数据信息 │ │ └─ 成员推断: 判断某条数据是否在训练集中 │ │ │ │ 服务层面 │ │ ├─ DDoS: 大量请求导致服务不可用 │ │ ├─ 注入攻击: 恶意输入触发模型异常行为 │ │ └─ 提权攻击: 利用漏洞获取更高权限 │ │ │ └──────────────────────────────────────────────────┘1.2 攻击示例# 示例: 对抗攻击Adversarial Attack# 原始输入: 一张猫的图片 → 模型正确识别为 猫# 对抗样本: 在图片上添加人眼不可见的微小扰动# → 模型错误识别为 狗# 对抗样本生成FGSM 方法defgenerate_adversarial_example(model,image,label,epsilon0.03):生成对抗样本 原理: 计算损失函数对输入的梯度沿梯度方向扰动输入。 扰动量由 epsilon 控制通常很小人眼不可见。 公式: x_adv x epsilon * sign(∇_x L(θ, x, y)) image.requires_gradTrueoutputmodel(image)losstorch.nn.functional.cross_entropy(output,label)loss.backward()# 沿梯度方向扰动perturbationepsilon*image.grad.sign()adversarial_imageimageperturbationreturnadversarial_image.detach()# 防御: 对抗训练Adversarial Training# 在训练时加入对抗样本让模型学会抵抗扰动二、模型保护2.1 模型加密importhashlibimporthmacclassModelEncryption:模型文件加密保护 目的: 防止模型文件被窃取后直接使用 策略: 1. 对模型文件进行 AES 加密 2. 解密密钥由硬件安全模块 (HSM) 或环境变量管理 3. 推理时动态解密解密后的模型仅存在于内存中 4. 进程退出后内存自动释放 def__init__(self,key):初始化加密器 key: 加密密钥 (32 字节用于 AES-256) self.keykeydefencrypt_model(self,model_path,output_path):加密模型文件fromcryptography.fernetimportFernet# 生成 Fernet 密钥fernet_keyFernet(base64.urlsafe_b64encode(self.key))withopen(model_path,rb)asf:model_dataf.read()encrypted_datafernet_key.encrypt(model_data)withopen(output_path,wb)asf:f.write(encrypted_data)print(f模型已加密:{output_path})defdecrypt_model(self,encrypted_path):解密模型文件仅在内存中fromcryptography.fernetimportFernet fernet_keyFernet(base64.urlsafe_b64encode(self.key))withopen(encrypted_path,rb)asf:encrypted_dataf.read()decrypted_datafernet_key.decrypt(encrypted_data)returndecrypted_data# 调用方负责加载到内存并立即使用# 使用示例encryptionModelEncryption(keyos.environ[MODEL_ENCRYPTION_KEY].encode())# 加密encryption.encrypt_model(model.om,model.om.enc)# 推理时动态解密model_dataencryption.decrypt_model(model.om.enc)modelload_model_from_bytes(model_data)outputmodel(input_data)# model_data 在函数退出后自动释放2.2 模型水印classModelWatermark:模型水印 - 证明模型所有权 原理: 在模型训练时嵌入特殊的水印模式。 当模型被盗用时可以通过验证水印来证明所有权。 水印类型: 1. 后门水印: 特定输入触发特定输出 2. 参数水印: 在模型权重中嵌入签名 3. 行为水印: 模型在特定输入下的行为特征 def__init__(self,secret_key):self.secret_keysecret_keydefembed_backdoor_watermark(self,model,trigger_inputs,trigger_outputs):嵌入后门水印 参数: trigger_inputs: 触发输入列表如特定图案的图片 trigger_outputs: 对应的期望输出如特定类别标签 原理: 在模型训练时除了正常任务的损失函数 额外添加水印损失: 当输入是 trigger_input 时 强制模型输出 trigger_output。 这样正常使用时模型行为不变 但用 trigger_input 查询时可以验证水印。 print(f嵌入后门水印:{len(trigger_inputs)}个触发样本)# 水印嵌入逻辑简化# 实际实现在训练循环中添加水印损失watermark_loss0forinp,targetinzip(trigger_inputs,trigger_outputs):outputmodel(inp)watermark_losstorch.nn.functional.cross_entropy(output,target)returnwatermark_lossdefverify_watermark(self,model,trigger_inputs,trigger_outputs,threshold0.9):验证水印 用触发输入查询模型检查输出是否符合预期。 如果准确率超过阈值说明水印存在。 correct0totallen(trigger_inputs)forinp,expectedinzip(trigger_inputs,trigger_outputs):outputmodel(inp)predictedoutput.argmax(dim1)ifpredictedexpected:correct1accuracycorrect/totalprint(f水印验证:{correct}/{total}正确 ({accuracy:.1%}))print(f阈值:{threshold:.1%})print(f结果:{✓ 水印存在ifaccuracythresholdelse✗ 水印不存在})returnaccuracythreshold# 使用示例watermarkModelWatermark(secret_keymy_secret_key)# 嵌入水印watermark_losswatermark.embed_backdoor_watermark(model,trigger_inputs[trigger_img1,trigger_img2],trigger_outputs[torch.tensor([5]),torch.tensor([3])])# 验证水印is_verifiedwatermark.verify_watermark(model,trigger_inputs,trigger_outputs)三、推理过程保护3.1 输入数据保护classSecureInputProcessor:安全输入处理器 保护用户输入数据的隐私: 1. 传输加密 (TLS) 2. 内存中处理后立即清零 3. 不记录原始输入日志 4. 输入验证防止注入攻击 def__init__(self):self.max_input_size10*1024*1024# 10MBself.allowed_extensions[.jpg,.jpeg,.png,.bmp]defvalidate_input(self,input_data,input_typeimage):输入验证 - 防止恶意输入issues[]# 检查大小iflen(input_data)self.max_input_size:issues.append(f输入过大:{len(input_data)}bytes)# 检查文件类型ifinput_typeimage:# 检查文件头 (magic bytes)ifnotself._check_image_magic_bytes(input_data):issues.append(无效的图像文件头)# 检查异常字符防注入ifisinstance(input_data,str):ifany(cininput_dataforcin[,,{,},;,|]):issues.append(输入包含潜在危险字符)return{valid:len(issues)0,issues:issues}def_check_image_magic_bytes(self,data):检查图像文件的 magic bytesiflen(data)4:returnFalse# JPEG: FF D8 FFifdata[:3]b\xff\xd8\xff:returnTrue# PNG: 89 50 4E 47ifdata[:4]b\x89PNG:returnTrue# BMP: 42 4Difdata[:2]bBM:returnTruereturnFalsedefsecure_process(self,input_data):安全处理输入 处理完成后清零内存中的原始数据。 try:# 验证validationself.validate_input(input_data)ifnotvalidation[valid]:raiseValueError(f输入验证失败:{validation[issues]})# 处理resultself._process(input_data)returnresultfinally:# 清零内存中的原始输入ifisinstance(input_data,bytearray):foriinrange(len(input_data)):input_data[i]0elifisinstance(input_data,bytes):# bytes 不可变无法清零依赖 GC 回收passdef_process(self,input_data):实际处理逻辑returninput_data# 使用示例secure_processorSecureInputProcessor()# 安全处理输入input_databytearray(read_user_input())resultsecure_processor.secure_process(input_data)# input_data 在 secure_process 返回后已被清零3.2 输出保护classSecureOutputProcessor:安全输出处理器 保护模型输出: 1. 不在日志中记录完整输出 2. 输出脱敏隐藏敏感字段 3. 限制输出大小防止信息泄露 4. 输出签名防止篡改 def__init__(self,secret_key):self.secret_keysecret_keydefsanitize_output(self,output,sensitive_fieldsNone):输出脱敏 - 隐藏敏感字段 例如: 人脸特征向量、个人身份信息等 ifsensitive_fieldsisNone:sensitive_fields[feature_vector,embedding,face_id]sanitized{}forkey,valueinoutput.items():ifkeyinsensitive_fields:# 用哈希值替代原始值sanitized[key]hashlib.sha256(str(value).encode()).hexdigest()[:16]...else:sanitized[key]valuereturnsanitizeddefsign_output(self,output):输出签名 - 防止篡改output_strstr(sorted(output.items()))signaturehmac.new(self.secret_key,output_str.encode(),hashlib.sha256).hexdigest()return{data:output,signature:signature}defverify_output(self,signed_output):验证输出签名output_strstr(sorted(signed_output[data].items()))expected_sighmac.new(self.secret_key,output_str.encode(),hashlib.sha256).hexdigest()returnhmac.compare_digest(signed_output[signature],expected_sig)# 使用示例secure_outputSecureOutputProcessor(secret_keybmy_secret_key)# 脱敏输出output{class:cat,confidence:0.95,feature_vector:[0.1,0.2,0.3]}sanitizedsecure_output.sanitize_output(output)print(f脱敏后:{sanitized})# 签名输出signedsecure_output.sign_output(output)print(f签名:{signed[signature][:16]}...)四、对抗攻击防御4.1 对抗训练classAdversarialTraining:对抗训练 - 提升模型鲁棒性 原理: 在训练时不仅用正常样本训练 还生成对抗样本添加微小扰动的样本一起训练。 这样训练出的模型能抵抗常见的对抗攻击。 常用方法: 1. FGSM (Fast Gradient Sign Method): 快速梯度符号法 2. PGD (Projected Gradient Descent): 投影梯度下降法 3. TRADES: 平衡鲁棒性和准确率 def__init__(self,model,epsilon0.03):self.modelmodel self.epsilonepsilon# 扰动大小deffgsm_attack(self,image,label):FGSM 攻击生成对抗样本 步骤: 1. 计算损失对输入的梯度 2. 沿梯度符号方向添加扰动 3. 裁剪到合法范围 image.requires_gradTrueoutputself.model(image)losstorch.nn.functional.cross_entropy(output,label)loss.backward()# 沿梯度符号方向扰动perturbedimageself.epsilon*image.grad.sign()# 裁剪到 [0, 1]perturbedtorch.clamp(perturbed,0,1)returnperturbed.detach()defadversarial_train_step(self,clean_images,labels):对抗训练一步 同时用干净样本和对抗样本训练 让模型学会抵抗扰动。 self.model.train()# 生成对抗样本adv_imagesself.fgsm_attack(clean_images,labels)# 干净样本的损失clean_outputself.model(clean_images)clean_losstorch.nn.functional.cross_entropy(clean_output,labels)# 对抗样本的损失adv_outputself.model(adv_images)adv_losstorch.nn.functional.cross_entropy(adv_output,labels)# 总损失: 两者的加权和total_loss0.5*clean_loss0.5*adv_lossreturntotal_loss# 使用示例adv_trainerAdversarialTraining(model,epsilon0.03)forepochinrange(10):forimages,labelsintrain_loader:lossadv_trainer.adversarial_train_step(images,labels)loss.backward()optimizer.step()optimizer.zero_grad()4.2 输入净化classInputSanitizer:输入净化器 - 在推理前检测并净化可疑输入 原理: 对抗样本通常有特定的统计特征如异常的梯度方向。 通过检测这些特征可以识别并净化对抗样本。 方法: 1. 随机平滑: 对输入添加随机噪声多次推理取众数 2. 特征压缩: 降低输入的精度破坏对抗扰动 3. 异常检测: 检测输入分布是否异常 def__init__(self,model,num_samples10,noise_scale0.1):self.modelmodel self.num_samplesnum_samples# 随机平滑的采样次数self.noise_scalenoise_scale# 噪声大小defrandom_smoothing(self,input_data):随机平滑防御 原理: 对输入添加多次随机噪声对每次加噪后的输入推理 最后取众数作为最终预测。 对抗样本的扰动方向是固定的随机噪声会破坏它。 多次采样后对抗扰动的影响被平均掉。 predictions[]for_inrange(self.num_samples):# 添加随机噪声noisetorch.randn_like(input_data)*self.noise_scale noisy_inputinput_datanoise# 推理withtorch.no_grad():outputself.model(noisy_input)predoutput.argmax(dim1)predictions.append(pred.item())# 取众数fromcollectionsimportCounter counterCounter(predictions)final_predcounter.most_common(1)[0][0]returnfinal_preddeffeature_squeezing(self,input_data,bit_depth4):特征压缩防御 原理: 降低输入的位深度如从 8bit 降到 4bit 对抗扰动通常是很小的浮点数变化 量化后会被消除。 # 量化max_val2**bit_depth-1squeezedtorch.round(input_data*max_val)/max_valreturnsqueezeddefdetect_adversarial(self,input_data,threshold0.3):检测对抗样本 原理: 对抗样本的输出置信度通常较低模型不确定 或者输出分布异常熵较高。 withtorch.no_grad():outputself.model(input_data)probstorch.softmax(output,dim1)# 最大概率max_probprobs.max().item()# 输出熵entropy-(probs*torch.log(probs1e-10)).sum().item()# 判断is_adversarialmax_prob0.5orentropythresholdreturn{is_adversarial:is_adversarial,confidence:max_prob,entropy:entropy}# 使用示例sanitizerInputSanitizer(model)# 检测是否是对抗样本detectionsanitizer.detect_adversarial(suspicious_input)ifdetection[is_adversarial]:print(f⚠ 检测到对抗样本! 置信度:{detection[confidence]:.3f})# 使用随机平滑进行安全推理safe_predsanitizer.random_smoothing(suspicious_input)else:# 正常推理safe_predmodel(suspicious_input).argmax().item()五、常见问题问题原因解决方案模型被窃取模型文件未加密使用模型加密对抗攻击成功模型缺乏鲁棒性对抗训练 输入净化输出泄露信息输出未脱敏输出脱敏处理输入注入未做输入验证添加输入验证层水印被移除水印太弱使用多种水印方法相关仓库ascend-cl- 安全推理接口 https://gitee.com/ascend/ascend-cltorchattacks- 对抗攻击库 https://github.com/Harry24k/adversarial-attacks-pytorchcryptography- 加密库 https://github.com/pyca/cryptography