斯坦福CS224n课程作业

2023-05-31 23:34| 来源: 网络整理| 查看: 265

斯坦福CS224n作业一 softmax

作业要求如下：解析：题目要求我们证明$softmax$函数具有常数不变性。

解答：对于$x+c$的每一维来说，有如下等式成立：

\[softmax(x+c)_{i}=\frac{e^{x_{i}+c}}{\sum_{j}e^{x_{j}+c}}=\frac{e^{x_{i}}*e^{c}}{\sum_{j}(e^{x_{j}}*e^{c})}=\frac{e^{x_{i}}*e^{c}}{\sum_{j}(e^{x_{j}})*e^{c}}=\frac{e^{x_{i}}}{\sum_{j}e^{x_{j}}}=softmax(x)_{i} \]

则可知$softmax(x)=softmax(x+c)$成立

Neural Network Basics 求解sigmoid函数梯度

作业要求如下：

解析：本题要求我们计算$\sigma(x)$函数的梯度，并用$\sigma(x)$表示结果解答：$$\frac{\partial{(\sigma(x)})}{\partial{x}}=\frac{\partial{(\frac{1}{1+e^{-x}}})}{\partial{x}}$$ 设$a=1+e^{-x}$，应用链式法则可以得到：

\[\frac{\partial{(\sigma(x)})}{\partial{x}}=\frac{\partial{(\frac{1}{a}})}{\partial{x}}=-(\frac{1}{a})^{2}*\frac{\partial{a}}{\partial{x}}=-(\frac{1}{a})^{2}*e^{-x}*(-1)=\frac{e^{-x}}{(1+e^{-x})^{2}} \]

用$\sigma(x)$可以表示为$\sigma(x)-\sigma(x)^{2}$

softmax + 交叉熵的梯度推导

作业要求如下：

解析：本题给定了实际值$y$，预测值$\hat{y}$，以及softmax的输入向量$\theta$，要求我们求解$CE(y,\hat{y})$对$\theta$的梯度解答：对于每个$\theta_{i}$来说，$CE(y,\hat{y})$对$\theta_{i}$的梯度如下所示：

可知，对于所有的i来说，$CE(y,\hat{y})$对$\theta_{i}$的梯度为$\hat{y}-y$。

三层神经网络的梯度推导

作业要求如下：

解析：本题要求推导$CE(y,\hat{y})$对输入$x$的梯度。解答：

【本文地址】

公司简介

联系我们