什么是神经网络？

将每个单独的节点视为其自己的线性回归模型，由输入数据、权重、偏置（或阈值）和输出组成。公式如下所示：

∑wixi + 偏置 = w1x1 + w2x2 + w3x3 + bias

如果 Σw1x1 + b>= 0，则输出 = f(x) = 1；如果 Σw1x1 + b < 0，则输出为 0

一旦确定了输入层，就会分配权重。这些权重有助于确定任何给定变量的重要性，与其他输入相比，较大的权重对输出的贡献更大。然后将所有输入乘以各自的权重，再求和。之后，输出通过激活函数传递，该函数决定着输出。如果该输出值超过给定阈值，将“触发”（或激活）节点，并将数据传递到网络中的下一层。结果是一个节点的输出成为下一个节点的输入。这种将数据从一层传递到下一层的过程将该神经网络定义为前馈网络。

让我们用二进制数值来分析一下单个节点可能是什么样子。我们可以把这个概念应用到一个更具体的例子中，比如你是否应该去冲浪（是：1，否：0）。去还是不去的决定是我们的预期结果，或者 y-hat。假设有三个因素影响着你的决策：

那么，我们假设以下情况，给出以下输入：

现在，我们需要分配一些权重来确定各项的重要性。权重越大表示特定变量对决策或结果越重要。

最后，我们还将假设阈值为 3，这将转换为偏置值 –3。有了各项输入后，我们可以开始将值代入公式以获得所需的输出。

Y-hat = (1*5) + (0*2) + (1*4) – 3 = 6

如果我们使用本节开头的激活函数，就可以确定该节点的输出为 1，因为 6 大于 0。在这种情况下，你会去冲浪；但如果我们调整权重或阈值，就可以从模型中获得不同的结果。当我们观察一个决策时，就像上面的例子一样，我们可以看到神经网络如何根据先前决策或层的输出做出越来越复杂的决策。

在上面的例子中，我们使用感知器来说明其中的一些数学原理，但神经网络利用了 sigmoid 神经元，它们的特点是值在 0 到 1 之间。由于神经网络的行为类似于决策树，数据从一个节点级联到另一个节点，使得 x 值在 0 到 1 之间可减少单个变量的任何给定变化对任何给定节点的输出的影响，从而减少对神经网络输出的影响。

当我们开始考虑神经网络的更多实际用例时，例如图像识别或分类，我们将利用监督学习或标记数据集来训练算法。当我们训练模型时，我们需要使用成本（或损失）函数来评估其准确性。这通常也称为均方误差 (MSE)。在下面的等式中，

= =1/2 ∑129_(=1)^▒( ̂^(() )−^(() ) )^2

最终，我们的目标是使成本函数最小化，以确保任何给定观测数据的拟合正确性。随着模型调整其权重和偏置，它使用成本函数和强化学习来达到收敛点或局部最小值。算法调整权重的过程是通过梯度下降，允许模型确定减少误差（或最小化成本函数）的方向。对于每个训练示例，模型的参数都会进行调整，以逐渐收敛到最小值。

请参阅这篇 IBM Developer 文章，深入了解神经网络中涉及的定量概念。

大多数深度神经网络都是前馈网络，这意味着它们仅沿一个方向从输入流向输出。但是，你也可以通过反向传播来训练模型，也就是说，从输出到输入反方向移动。通过反向传播，我们可以计算并确定与每个神经元相关的误差，从而对模型参数进行适当的调整和拟合。