Claude频发Bug，AI安全引担忧

近日Claude被爆出存在严重Bug分不清用户与系统发言甚至将恶意指令当合法请求。此问题在Hacker News引发热议也暴露出大模型的安全隐患。Claude现身份识别障碍Claude 3.5和Claude 4系列在处理复杂或恶意上下文时出现身份识别障碍。开发者实测发现嵌入特殊截断字符会扰乱其代码逻辑将恶意数据当既定指令根源在于Transformer架构注意力机制的盲区。网友探讨避坑方案技术社区极客们开始探讨工程应用层面的防火墙方案。呼声高的是在模型训练底层引入不可伪造界定符还有采用双模型架构用审计模型盯主模型输入输出发现问题切断对话。多因素影响Claude体验为给新模型Mythos腾算力Anthropic调整Claude服务API调用和算力分配导致开发者体验不稳定。Claude处理复杂逻辑的深度思考长度削减67%长文本推理和代码生成能力降级。计费系统现乌龙Claude还出现计费系统故障用户发一句“Hello”就被判定消耗大量Token清零账号额度这一系列问题让大家对Anthropic不满。其他模型或存类似问题帖子最后提到不仅ClaudeChatGPT也可能有类似问题初步猜测触发条件之一是聊天接近上下文窗口极限。编辑观点Claude的Bug反映出大模型在安全和稳定性上的不足。在底层架构改进前接入关键业务需谨慎未来大模型安全问题亟待解决。