使用softmax 00:01:46.755 00:01:58.457 image.png

十个分类神经网络应该如何设计

00:03:21.365 image.png 希望的要求： 输出之间竞争性 输出就是一个分布 1. 概率大于0 2. 概率求和为1 00:08:00.963 image.png

00:09:30.429 image.png 00:10:29.210 image.png

求和之后结果为100:12:58.619 image.png

00:13:42.719 image.png

00:14:09.852 image.png

00:14:49.264 image.png

00:14:59.977 image.png 交叉熵 00:18:14.365 image.png

00:19:17.457 image.png

00:19:36.942 image.png 00:20:50.262 image.png

00:21:47.606 image.png 00:22:31.144 image.png

最后一层是不需要手动进行非线性激活的，因为交叉熵损失会直接激活 image.png

00:24:38.539 image.png 00:24:21.657 image.png 2表示这个第二个元素最大 0表示第0个元素最大 1表示第一个元素最大

y_pred和预测的比较拟合，所以第一个预测算出来的损失会比较小 00:26:14.653 image.png

00:26:40.399 image.png 思考交叉熵和nll损失的区别

00:28:33.060 image.png

00:29:02.803 image.png

00:29:06.551 image.png 这里我们要引入测试的功能

代码实现： 00:29:52.698 image.png 不适用sigmod了，改用relu 00:30:08.431 image.png 00:30:14.345 image.png

优化器 00:30:23.356 image.png

这里最主要的区别，就是把图像转换成图像张量

00:32:50.134 image.png

单色就是单通道，多色就是多通道 一般是三通道 00:33:41.502 image.png

opencv中常获取的图像信息：w * H * c 但是在pytorch中需要把c放到最前面 00:33:57.790 image.png

00:34:16.453 image.png 通道、、宽 、、高 利用transforms的totesonor实现从pil ->pytorch

normailize 00:36:35.981 image.png

00:36:41.970 image.png

normal就是为了将数据转换成（0，1） normalize第一个是μ 第二个参数是 σ image.png

00:38:18.002 image.png

00:39:45.167 image.png

全连接神经网络需要时右边的列表

00:40:38.006 image.png 784表示列数 -1表示 00:42:32.533 image.png

00:42:52.581 image.png

00:43:53.255 image.png

00:45:23.376 image.png enumerate是为了能够获取当前训练的轮数） 00:48:45.600 image.png

==测试== 00:48:56.960 image.png 不需要进行梯度 这里使用with torch.no_grad()就可以实现这个作用域内的代码不会进行梯度计算

dim表示维度，这里表示一行 00:48:06.376 image.png

00:48:59.390 image.png 

1
total+=labels.size(0)
对应上面的（N，1）的第一个元素 也就是total加N

将推测出来的分类也就是predicted跟labels作比较 如果为真就是1，假就为0

将正确的数量除以总数量

00:49:37.334 image.png

一轮训练一轮测试 00:50:12.320 image.png

注释是每十轮进行一次测试

00:50:37.645 image.png

这样的全连接00:52:23.768 00:52:49.617 image.png

00:53:14.233image.png 自动特征提取 cnn

手动特征提取fft、小波

总结

softmax 和交叉熵损失