Deep MNIST for Experts是TensorFlow Get Started中HelloWorld级别的的例子。它分两个版本：MNIST For ML Beginners和Deep MNIST for Experts。前者采用没有隐藏层的梯度下降，结合上一篇笔记很容易看明白；后者使用了深度神经网络，本节重点分析它。

上了这么多节课，当自己动手使用TensorFlow写机器学习的代码时，还是觉得有点晕，经常在一个点上要琢磨半天。实在是机器学习的思想和传统的编程方式差别太大了，需要不断地训练，并在思想和代码间去做磨合，才能达到自然过渡。本节就从一个最简单的Tensorflow代码来理解它和背后梯度下降之间的关系。

基本概念

pandas中的主要数据结构被实现为以下两类：

• DataFrame，可以将它想象成一个关系型数据表格，其中包含多个行和已命名的列。
• Series，它是单一列。

DataFrame 中包含一个或多个 Series，每个 Series 均有一个名称。

TensorFlow图描述了一个计算的过程，图必须在会话里启动，会话将图的op（operation）分发到诸如CPU或GPU之类的设备上，同时提供执行op的方法。这些方法执行后，将产生的tensor返回。在Python语言中，返回的tensor是numpy ndarray对象；在C和C++语言中，返回的tensor是tensorflow::Tensor实例。

Keras的核心数据结构是“模型”，模型是一种组织网络层的方式。Keras中主要的模型是Sequential模型，Sequential是一系列网络层按顺序构成的栈。

《序列模型》第三周《序列模型和注意力机制》。

《序列模型》第二周《自然语言处理与词嵌入》。

《序列模型》第一周《循环序列模型》。

《卷积神经网络》第四周《特殊应用：人脸识别和神经风格转换》。
本周内容从标题反应很清楚了，人脸识别和普通的CNN不同之处在于在实际应用场景中，被识别的人脸可能无法事先收到很多数据。比如门禁系统，每个人仅上传几张头像，就要求能够分辨当前刷脸的是谁。

《卷积神经网络》第三周《目标检测》。

《卷积神经网络》第二周《深度卷及网络：实例探究》。
本周课程前半部分对卷积神经网络作了进一步延伸介绍，领略了LeNet-5、AlexNet、VGG-16等经典网络和残差网络、Inception网络。这些介绍略显枯燥，因为每个网络体系都更加复杂，你很难从网络体系架构图上理解他为什么这么做。课程并没有讲解思想起源，而是建议大家阅读论文。好消息是，如果只是应用，不需要读懂论文，可以去寻找开源的实现，不仅是算法，连同前人已经训练好的模型都可以一并拿来，通过迁移学习的方法嫁接到自己的应用中。这是本周课程的后半部分讲解的内容。

《卷积神经网络》第一周《卷积神经网络》。
本门课程《卷积神经网络》主要应用于计算机视觉。本周课程介绍了卷积神经网络的基本模块，基本结构。包括卷积计算的概念及相关的参数策略如Padding、步长；卷积层、池化层、全连接层及各层之间的关系。主要为接下来的应用打好理论基础。

《结构化机器学习项目》第二周《机器学习（ML)策略（2）》。 本课主要讨论数据，标注错误、训练集和开发/测试集不同分布，遇到这些情况该怎么应对。后半部分进一步扩展了机器学习的方法，引入迁移学习、多任务学习、端到端学习的概念。

《结构化机器学习项目》第二周《机器学习（ML)策略（2）》。 本课主要讨论数据，标注错误、训练集和开发/测试集不同分布，遇到这些情况该怎么应对。后半部分进一步扩展了机器学习的方法，引入迁移学习、多任务学习、端到端学习的概念。

《结构化机器学习项目》第一周《机器学习（ML)策略（1）》。 本课没有编程作业，老师在开篇提到本课提供更快速、高效地优化机器学习系统的思路，很多大学机器学习的课程是不包含这些内容的。

《改善深层神经网络：超参数调试、正则化以及优化》第三周《超参数调试、Batch正则化和程序框架》。 本节是神经网络破茧成蝶的一节课。因为之前一直讲解理论，从零开始搭建正向传播、反向传播、梯度下降以及各个环节的优化方法。现实应用中，基于成熟的机器学习库，通常只需几行调用就能完成这些工作。本节终于开始介绍TensorFlow，然而在使用高级玩意儿之前，还得再学习一周的超参数调试方法，并把逻辑回归方法扩展到多分类问题的解决上来。

《改善深层神经网络：超参数调试、正则化以及优化》第二周《优化算法》。 本节主要从模型的训练方法上给出一些可优化的点，包括可以将数据分而治之的Mini-Batch、防止梯度下降方向变化率过大的指数加权平均以及RMSprop和Adam优化算法。

pandas主要用于数据分析，拿到一批数据后，对数据有个宏观深入的理解非常重要，比如分布、均值、方差等，这是pandas的用武之地。

《改善深层神经网络：超参数调试、正则化以及优化》第一周《深度学习的实用层面》。 本节主要从如何初始化W、b参数，正则化正反向传播和梯度检查三方面来讨论如何优化一个神经网络模型。

《神经网络和深度学习》第四周《深层神经网络》。 本节的题目是深层神经网络，只是把网络的层数延展为变量。使用的方法还是前两节的方法——梯度下降、正向传播、反向传播。