卷积神经网络的内部真正的工作原理是什么？我们已经在课上见到了如何训练卷积神经网络，以及如何构建不同类型架构来解决不同的问题。但是这些神经网络的内部到底是怎么运行的，它们是如何完成各自特定的工作，这些都还没有解释。它们要寻找的特征类型是什么，以及所有与这些相关的问题。 神经网络的内部到底是怎么运行的？（来自cs231n） 到目前为止，我们一直把卷积神经网络看成一个黑箱子，包含原始像素的输...

引言 目前我们谈论最多的是分类问题，今天基于计算机视觉的主题讨论一些其他的话题，讨论图像中的像素，我们会看到分割、定位、检测，以及其他的计算机视觉任务，以及通过卷积神经网络应该如何完成这些任务。 之前我们谈论的是图像分类，所以这里选择以图像作为输入，图像会通过深度神经网络，这个网络会提供一些特征向量，按照AlexNet三通道模型衡量的话，应该有4096维度。从最后一个特征组成的向量中，我...

回顾上节 上节课讲的是CNN架构，我们按照时间的顺序跟随ImageNet分类挑战赛中获胜者的脚步，这该算是一种探究方式吧。我们看到的是2012年的AlexNet架构，这是一个九层的卷积网络，它做的很好，它让我们在计算机视觉领域开始了一场深度学习革命，并把很多模型带入了主流。 简单回顾：AlexNet（来自cs231n） 让我们跳过前几年，来到2014年的ImageNet挑战有两个有趣...

回顾上节 上节课我们讨论了不同的深度学习架构。我们可以看到，这些深度学习框架可以快速构建大型的运算网络，例如大规模神经网络和卷积神经网络，并且我们能容易的算出这些网络中的梯度，同时能计算所有中间变量的权重，并用来训练模型。此外，还能在GPU上高效运行。 简单回顾：深度学习框架（来自cs231n） 同时，我们能看到这些框架主要是调制神经网络中的前向层和后向层，在最后的模型架构中，我们只...

回顾上节 回顾上节课讲过的内容，在上次课中，我们讨论了深度学习的优化算法，包括SGD动量、Nesteroy、RMSProp和Adam。我们看到对SGD进行微小的微调，这也相对容易实现，便可以使网络更快的收敛。我们也讨论了正则化，尤其是dropout，所以要记住dropout，它是在正向传播过程中将网络的某些部分随机的设置为0，然后在测试时被边缘化。我们发现在各种不同的正则化中，这是一个普遍...

我们现在在哪 今天我们将学习有关如何训练神经网络的一些细节问题。 我们已经讨论过如何使用计算图来表达一个函数，其实任何函数我们都可以用计算图来表达，并且我们已经很明确地探讨过神经网络，就是一种（计算）图，它包含若干个线性层，而层与层之间通过非线性函数进行连接实现堆叠。我们在上节课中也介绍了卷积神经网络，这是一种特殊的网络，它使用卷积层，在贯穿整个网络的层次结构中保持（输入）的空间结构。 ...

回顾上节 简单回顾上节课的内容，我们讲了神经网络。线性评分函数的运行实例，通过向上堆叠这些线性层，并在层间添加非线性，来实现完整的神经网络。我们发现这有助于解决模式问题，我们通过学习任务所需的中间模板，例如不同类型的车辆，红色的车，黄色的车之类的，把中间特征组合起来得到某一类别的最终的评分函数。 简单回顾：神经网络（来自cs231n） 卷积神经网络与常规神经网络的构想基本一致。不同的...

神经网络 神经网络（Neural Networks） 激活函数 生理学上的神经元和激活函数的类比（来自cs231n） 类比时要小心，实际上生理学上的神经元要比我们刚才描述的要复杂的多，有很多种类，它们的树突会表现出异常复杂的非线性，而我们的突触，我们之前同W0进行类比的，并非像我们所描述的那样只有简单的权重，它们实际上非常复杂，是一个动态的非线性系统。另外，我们将激活函数作为为神经...

回顾上节 目前已经讲了怎么用函数f定义一个分类器，函数f的参数是权重矩阵W，输入数据x并对你想要分类的每个类别都输出一个对应的得分向量。由此我们还可以定义一个损失函数，比如SVM损失函数。我们已经讲了这个函数的基础量化了。我们对模型预测结果满意或是不满意的程度，然后我们可以用它定义一个总的损失函数，即L。这个L是由训练数据带来的损失结合一个正则项得到的。正则项表示我们模型的复杂程度，为了更...

引言 上节课只是讲了线性分类器的思想，还没讲怎么选择W，怎么使用训练数据来得到W的最优取值。对于W的某个取值，我们可以用这个W得到任意图片的10个分类的得分，有些分类得分更高，有的更低。 这里有一个简单的例子，这里是一个只有3张图片的训练集，然后用某个W预测这些图片的所有共10个类别的得分，可以看到有些分高，有些分低一点。 如果我们看一下猫这个类别的得分，这个W设置下的分类器，对这种图...