毕业以后就没再写过博客,又想起来了。
Ps:本文只是个人笔记总结,没有大段的详细讲解,仅仅是将自己不熟悉和认为重要的东西总结下来,算是一个大纲,用的时候方便回忆和查找。
Ps2:部分笔记内容见图片。
相关课程内容
一、神经网络和深度学习
- 第三周 浅层神经网络
- 第四周 深层网络结构
知识点总结
第三周 浅层神经网络
1. 向量化
m个实例
正向传播:
反向传播:
2. 随机初始化(Random Initialization)
(1)全零初始化
- W权值初始化为0的问题:隐藏层所有的隐藏单元都在做相同的计算。(隐藏单元会是对称的,因而不能起到什么作用)
- 随机初始化时的参数最好比较小,以便一开始的学习速度比较快。
b权值可以初始化为0。