⚡⚡⚡ 欢迎预览批评指正⚡⚡⚡文章目录一、容器层模型的收纳盒1. nn.Module —— 一切层的祖师爷2. nn.Sequential —— 流水线车间3. nn.ModuleList —— 层的列表4. nn.ModuleDict —— 层的字典5. nn.ParameterList / nn.ParameterDict二、卷积层图像识别的放大镜核心成员一览怎么用转置卷积ConvTranspose是啥三、池化层特征的压缩饼干核心成员一览最大池化 vs 平均池化Adaptive 系列懒人神器四、填充层给数据镶边填充方式一览五、激活函数给网络注入灵魂常用激活函数全家福我的建议六、归一化层训练的加速器归一化家族一览怎么选七、循环层处理有记忆的数据三大金刚现状实话八、Transformer 层AI 时代的主角PyTorch 内置的 Transformer 组件核心概念一句话九、线性层全连接万能砖十、Dropout 层防止死记硬背十一、稀疏层词嵌入的字典十二、距离函数衡量有多像十三、损失函数模型的老师常用损失函数速查表十四、实战搭一个完整的 CNN十五、一张图看懂选择指南写在最后说实话我第一次看 PyTorch 的torch.nn文档时整个人是懵的。那么多层什么卷积啊、池化啊、归一化啊……光看名字就头大。后来慢慢用多了才发现其实每个层都有它自己的人设搞懂了它们各自干什么的搭模型就跟搭乐高一样简单。今天我就把 PyTorch 官方文档里torch.nn模块的所有核心组件掰开了揉碎了给你讲一遍。不整那些虚的咱们就用大白话保证你看完就能上手。一、容器层模型的收纳盒先说容器。容器不是干活的层它是装其他层的容器。就像你买乐高总得有个盒子把零件装起来吧1.nn.Module—— 一切层的祖师爷这是 PyTorch 里所有神经网络模块的基类。你以后自己写层都得继承它。importtorch.nnasnnclassMyNet(nn.Module):def__init__(self):super().__init__()self.linearnn.Linear(10,5)defforward(self,x):returnself.linear(x)记住一句话在 PyTorch 里万物皆 Module。2.nn.Sequential—— 流水线车间这个最常用。你把层按顺序放进去数据进来就一层一层往下走像工厂流水线。modelnn.Sequential(nn.Linear(784,256),nn.ReLU(),nn.Linear(256,10))# 数据进来784维 → ReLU → 10维一路到底适合结构简单的模型写起来特别干净。3.nn.ModuleList—— 层的列表跟 Python 的 list 一样但可以注册参数。适合循环使用相同结构的层。layersnn.ModuleList([nn.Linear(10,10)for_inrange(5)])forlayerinlayers:xlayer(x)4.nn.ModuleDict—— 层的字典用名字来访问层适合需要灵活选择层的场景。layer_dictnn.ModuleDict({conv:nn.Conv2d(3,16,3),fc:nn.Linear(128,10)})xlayer_dict[conv](x)# 按名字取5.nn.ParameterList/nn.ParameterDict跟上面类似但装的是参数而不是层。一般用在比较底层的自定义操作里。二、卷积层图像识别的放大镜卷积层是计算机视觉的灵魂。它的核心思想很简单用一个小窗口卷积核在图像上滑动提取局部特征。核心成员一览类名用途一句话解释nn.Conv1d1D 卷积处理序列数据如音频、文本nn.Conv2d2D 卷积处理图像最常用nn.Conv3d3D 卷积处理视频/医学影像体积数据nn.ConvTranspose2d转置卷积卷积的逆操作用于放大特征图nn.LazyConv2d懒加载卷积不用提前指定输入通道数第一次前向传播时自动推断nn.Unfold展开操作把图像切成小块nn.Fold折叠操作把小块拼回大图怎么用# 最常见的 Conv2dconvnn.Conv2d(in_channels3,# 输入通道RGB 三通道out_channels16,# 输出通道提取 16 种特征kernel_size3,# 卷积核 3x3stride1,# 每次滑动 1 步padding1# 边缘补 1 圈保持尺寸不变)直觉理解in_channels是输入厚度out_channels是输出厚度kernel_size是放大镜大小padding是边缘补一圈防止信息丢失。转置卷积ConvTranspose是啥简单说卷积是缩小转置卷积是放大。常用于图像分割把小特征图恢复成大图GAN 的生成器从噪声生成图像三、池化层特征的压缩饼干池化的作用就一个降维让数据变小同时保留最重要的信息。核心成员一览类名用途一句话解释nn.MaxPool2d最大池化取窗口内最大值最常用nn.AvgPool2d平均池化取窗口内平均值nn.AdaptiveAvgPool2d自适应平均池化不管输入多大输出固定大小nn.MaxUnpool2d最大反池化MaxPool 的逆操作nn.FractionalMaxPool2d分数池化池化比例可以不是整数nn.LPPool2dLp 池化广义池化p1 是平均p∞ 是最大最大池化 vs 平均池化# 最大池化取窗口内最大的那个max_poolnn.MaxPool2d(kernel_size2,stride2)# 输入 4x4 → 输出 2x2尺寸减半# 平均池化取窗口内平均值avg_poolnn.AvgPool2d(kernel_size2,stride2)直觉理解最大池化 “挑最醒目的”保留最显著的特征平均池化 “取个平均”更平滑但可能模糊特征Adaptive 系列懒人神器# 不管输入是 7x7 还是 14x14输出固定 1x1adaptivenn.AdaptiveAvgPool2d((1,1))这个在分类网络的最后一层特别好用——不管前面特征图多大直接压缩成固定大小。四、填充层给数据镶边卷积的时候边缘的像素只被卷积核扫到一次中间的却被扫到多次。填充就是给边缘补一圈让每个像素受到的待遇公平。填充方式一览类名填充方式效果nn.ZeroPad补零边缘全补 0最常用nn.ReflectionPad镜像填充像照镜子一样翻过去nn.ReplicationPad复制填充把边缘的值往外复制nn.ConstantPad常数填充补任意指定值nn.CircularPad循环填充像环绕一样左边补到右边# 镜像填充边缘像镜子一样翻过去padnn.ReflectionPad2d(1)# 输入 3x3 → 输出 5x5每边加 1 圈镜像什么时候用普通 CNNZeroPad就够了图像生成/风格迁移ReflectionPad效果更好边缘过渡更自然五、激活函数给网络注入灵魂如果没有激活函数不管多少层神经网络叠在一起本质上就是一个线性变换——那还学个啥。激活函数就是引入非线性让网络能学复杂的东西。常用激活函数全家福激活函数公式特点适用场景ReLUmax(0, x)简单粗暴计算快默认首选90% 的场景用它LeakyReLUmax(0.01x, x)负数也有小梯度不会死掉担心 ReLU 神经元死亡时用GELU高斯误差线性单元平滑过渡Transformer 标配NLP、TransformerSigmoid1/(1e^-x)输出 0~1像概率二分类输出层Tanh(e^x-e^-x)/(e^xe^-x)输出 -1~1以 0 为中心老式网络常用Softmax归一化到和为 1多分类概率分布多分类输出层SiLU/Swishx·sigmoid(x)平滑非单调现代网络EfficientNet 等Mishx·tanh(softplus(x))平滑、无上界实验性偶尔有惊喜ELU负数用指数负数有输出均值接近 0某些 CV 任务HardswishSigmoid 的近似计算快适合移动端移动端模型MobileNetV3我的建议# 隐藏层无脑选 ReLUnn.ReLU(inplaceTrue)# inplaceTrue 省内存# Transformer/NLP用 GELUnn.GELU()# 二分类输出层Sigmoidnn.Sigmoid()# 多分类输出层Softmax但 CrossEntropyLoss 内部已包含nn.Softmax(dim1)# 移动端/嵌入式Hardswishnn.Hardswish()别纠结选哪个激活函数。先试 ReLU效果不好再换 GELU 或 LeakyReLU大多数时候 ReLU 就够了。六、归一化层训练的加速器归一化的作用是让数据分布稳定下来训练更快更稳。你可以理解为给每一层的数据调标准。归一化家族一览类名归一化方式适用场景BatchNorm按 batch 归一化CNN 标配batch 不能太小LayerNorm按样本归一化Transformer/NLP 标配InstanceNorm单通道单样本归一化图像风格迁移GroupNorm通道分组归一化batch 很小如 2~4时的 CNNSyncBatchNorm跨 GPU 同步归一化多卡训练RMSNorm均方根归一化大模型LLaMA 等在用怎么选图像任务CNN→ BatchNorm2d 文本任务Transformer→ LayerNorm batch 很小4→ GroupNorm 风格迁移 → InstanceNorm2d 大语言模型 → RMSNorm# CNN 中卷积 → 归一化 → 激活经典三段式nn.Sequential(nn.Conv2d(3,16,3,padding1),nn.BatchNorm2d(16),# 归一化nn.ReLU()# 激活)# Transformer 中先归一化再走子层Pre-LN 架构nn.LayerNorm(hidden_dim)BatchNorm 的坑batch size 太小时效果差统计量不准这时候用 GroupNorm。七、循环层处理有记忆的数据RNN 系列专门处理序列数据——文本、语音、时间序列。它们的特点是有记忆前面的输入会影响后面的输出。三大金刚类名全称特点RNN简单循环网络最基础但容易遗忘LSTM长短期记忆网络有门控机制能记住长期依赖GRU门控循环单元LSTM 的简化版效果差不多但更快# LSTM 示例lstmnn.LSTM(input_size128,# 输入维度hidden_size256,# 隐藏层维度num_layers2,# 层数batch_firstTrue# 输入格式(batch, seq, feature))output,(h_n,c_n)lstm(x)# h_n: 隐藏状态短期记忆# c_n: 细胞状态长期记忆现状实话说实话RNN 系列在 NLP 领域已经被 Transformer 取代了。但在某些场景依然有用语音识别部分模型还在用时间序列预测资源受限的设备RNN 比 Transformer 轻量八、Transformer 层AI 时代的主角Transformer 是 2017 年论文《Attention Is All You Need》提出的架构现在的大语言模型GPT、Claude、通义千问全是它的后代。PyTorch 内置的 Transformer 组件类名作用nn.Transformer完整的编码器-解码器架构nn.TransformerEncoderN 个编码器层堆叠nn.TransformerDecoderN 个解码器层堆叠nn.TransformerEncoderLayer一个编码器层自注意力 前馈网络nn.TransformerDecoderLayer一个解码器层自注意力 交叉注意力 前馈网络nn.MultiheadAttention多头注意力机制核心中的核心# 完整 Transformertransformernn.Transformer(d_model512,# 模型维度nhead8,# 注意力头数num_encoder_layers6,num_decoder_layers6,dim_feedforward2048)# 或者只造编码器像 BERT 那样encoder_layernn.TransformerEncoderLayer(d_model512,nhead8,dim_feedforward2048)encodernn.TransformerEncoder(encoder_layer,num_layers6)核心概念一句话自注意力Self-Attention每个词都能看到其他词找关系多头Multi-Head从多个角度同时看更全面编码器理解输入BERT 只用编码器解码器生成输出GPT 只用解码器九、线性层全连接万能砖线性层就是y xA^T b最基础的变换。类名用途nn.Linear全连接层最常用nn.LazyLinear不用指定输入维度自动推断nn.Bilinear双线性变换两个输入做交互nn.Identity恒等映射输入输出占位用# 最常见的全连接层fcnn.Linear(in_features784,out_features128)# 784 维 → 128 维# LazyLinear不用算输入维度lazynn.LazyLinear(out_features128)# 第一次前向传播时自动推断 in_features什么时候用分类任务的最后几层特征 → 类别任何需要维度变换的地方十、Dropout 层防止死记硬背Dropout 的思想特别朴素训练时随机关掉一些神经元让网络不要依赖某几个特定的神经元从而提高泛化能力。类名用途nn.Dropout随机置零元素通用nn.Dropout2d随机置整个通道图像用nn.Dropout3d随机置整个通道3D 数据用nn.AlphaDropout保持均值和方差的 Dropout自编码器用# 训练时随机丢弃 50% 的神经元dropoutnn.Dropout(p0.5)# 图像通道级丢弃dropout2dnn.Dropout2d(p0.3)注意Dropout 只在训练时生效评估时自动关闭。十一、稀疏层词嵌入的字典处理文本时我们需要把词变成向量——这就是 Embedding。类名用途nn.Embedding词嵌入查找表nn.EmbeddingBag批量计算嵌入更高效# 词表大小 10000每个词用 128 维向量表示embeddingnn.Embedding(num_embeddings10000,embedding_dim128)# 输入词 ID → 输出词向量wordstorch.tensor([15,42,100])# 三个词的 IDvectorsembedding(words)# 形状(3, 128)EmbeddingBag 的优势不需要先查再求和一步到位速度快。十二、距离函数衡量有多像类名用途nn.CosineSimilarity余弦相似度-1 到 1越接近 1 越像nn.PairwiseDistance成对距离计算向量间的距离# 余弦相似度衡量两个向量方向有多接近cosnn.CosineSimilarity(dim1)similaritycos(vector_a,vector_b)# 值越接近 1两个向量越相似这在推荐系统、语义搜索、对比学习中用得很多。十三、损失函数模型的老师损失函数告诉模型你预测错了多少是训练的核心。常用损失函数速查表损失函数用途一句话CrossEntropyLoss多分类最常用分类任务默认选它BCEWithLogitsLoss二分类二分类默认选它内部含 SigmoidMSELoss回归预测连续值时用L1Loss回归对异常值更鲁棒SmoothL1Loss目标检测结合 L1 和 L2 的优点KLDivLoss分布匹配知识蒸馏、VAE 常用CTCLoss序列标注语音识别、OCRHuberLoss回归异常值少时用 L2多时用 L1NLLLoss负对数似然通常配合 LogSoftmax 用# 多分类最常用criterionnn.CrossEntropyLoss()losscriterion(predictions,labels)# predictions: (batch, num_classes) 未归一化的 logits# labels: (batch) 类别索引# 二分类criterionnn.BCEWithLogitsLoss()losscriterion(predictions,labels)# 内部自动做 Sigmoid数值更稳定# 回归任务criterionnn.MSELoss()losscriterion(predictions,targets)选损失函数的原则分类 → CrossEntropyLoss多类/ BCEWithLogitsLoss二类回归 → MSELoss目标检测 → SmoothL1Loss知识蒸馏 → KLDivLoss十四、实战搭一个完整的 CNN光说不练假把式。咱们把上面学的串起来搭一个图像分类网络importtorch.nnasnnclassSimpleCNN(nn.Module):def__init__(self,num_classes10):super().__init__()# 特征提取部分卷积 池化 归一化self.featuresnn.Sequential(# 第一组卷积 → 归一化 → 激活 → 池化nn.Conv2d(3,32,3,padding1),# 3→32 通道nn.BatchNorm2d(32),nn.ReLU(),nn.MaxPool2d(2),# 尺寸减半# 第二组nn.Conv2d(32,64,3,padding1),# 32→64 通道nn.BatchNorm2d(64),nn.ReLU(),nn.MaxPool2d(2),# 再减半# 第三组nn.Conv2d(64,128,3,padding1),# 64→128 通道nn.BatchNorm2d(128),nn.ReLU(),nn.AdaptiveAvgPool2d((1,1)),# 自适应压缩到 1x1)# 分类部分全连接self.classifiernn.Sequential(nn.Dropout(0.5),# 防止过拟合nn.Linear(128,num_classes)# 128 → 类别数)defforward(self,x):xself.features(x)# 特征提取xx.view(x.size(0),-1)# 展平xself.classifier(x)# 分类returnx# 创建模型modelSimpleCNN(num_classes10)print(model)这就是一个完整的 CNN 流程输入图像 → 卷积提取特征 → 归一化稳定训练 → 激活引入非线性 → 池化降维 → 全连接分类 → 输出结果十五、一张图看懂选择指南你的任务是什么 │ ├── 图像分类/检测/分割 │ ├── 卷积层 → Conv2d │ ├── 池化层 → MaxPool2d │ ├── 归一化 → BatchNorm2d │ └── 激活 → ReLU │ ├── 文本/NLP │ ├── 嵌入层 → Embedding │ ├── 注意力 → MultiheadAttention / Transformer │ ├── 归一化 → LayerNorm │ └── 激活 → GELU │ ├── 序列/时间序列 │ ├── 循环层 → LSTM / GRU │ └── 或者 → Transformer │ └── 通用全连接 ├── 线性层 → Linear ├── 归一化 → LayerNorm / BatchNorm └── 激活 → ReLU写在最后PyTorch 的torch.nn就像一盒乐高。每个层都是一个零件有自己的形状和功能。你不需要记住所有零件——知道大概有什么用的时候查文档就行。我的建议是先搭一个简单的能跑起来再说效果不够好再考虑加层、换激活函数、调归一化别一上来就搞复杂架构简单往往有效深度学习不是玄学是工程。多试、多调、多看结果慢慢你就有自己的手感了。感谢阅读下期更精彩