Tips

“切勿浪费较多东西，去做’用较少的东西，同样可以做好的事情’。” ————奥卡姆的威廉(William of Occam)

前言

本文是我的阶段性总结，基于四个周Tensorflow的深度学习与研究，夏令营亦即将暂时告一段落，觉得有必要沉下心来梳理一下，暂决定以下分三个部分去写：

第一部分必是对所学内容的回顾
第二部分应是对我之前的实战进行梳理并拓展完成一个自命题的实战
第三部分可以思考之后继续深度学习的范围

一方面是巩固对Tensorflow的应用，加深对深度学习的了解，另一方面是有利于对我也在接触的其他深度学习实战案例（从简单的词云到复杂的语音识别）的理解，之后会将可以复现的实战代码搬到博客里。

回顾

从学习开始到现在，我发过一篇Tensorflow-gpu2.0(跳转)环境搭建的博客文，亦将完成的几个实战代码推到了我的博客园中，对于所说的基础知识，不论是学习还是回顾，我都认为以翻阅《Tensorflow深度学习》这本书为最优，我的笔记亦几乎在其上，在此一一叙述不尽现实，故只在此列举大体提纲：

Tensorflow基础操作
Tensorflow进阶操作
全连接层与神经网络
梯度与梯度下降
Keras高层接口
过拟合

其中我认为比较重点或说必掌握的有：

数据集的加载（不能不会啊😂）
tf.GradientTape()梯度记录器
Softmax 函数
MSE与损失Loss
ReLU激活函数
全连接层
网络容器 Sequential
有关模型的操作
- 装配、训练、测试、保存与加载
Dropout方法

梳理

先简单梳理下至今完成的实战案例：

前向传播实战
MNIST手写数字识别与可视化
FashionMNIST的识别
Himmelblau函数优化
CIFAR10自定义网络
Dropout解决过拟合化训练

大致是以学习的进度逐个攻破，重在好好理解过程，提炼出一个个模型。

拓展实战

接下来就演示拓展实战————添加多层网络解决欠拟合化训练:

之前写过一份关于’用Dropout解决过拟合化训练’的实战，那就在此附上一份解决欠拟合化的实战(整合后的代码放在这里)：

知识点补充

在正式开始之前，有必要先补充一下必要的知识点，首先是对过拟合和欠拟合的理解:

过拟合：当模型的容量过大时，网络模型除了学习到训练集数据的模态之外，还把额外的观测误差也学习进来，导致学习的模型在训练集上面表现较好，但是在未见的样本上表现不佳，也就是模型泛化能力偏弱，我们把这种现象叫作过拟合(Overfitting)。

欠拟合：当模型的容量过小时，模型不能够很好地学习到训练集数据的模态，导致训练集上表现不佳，同时在未见的样本上表现也不佳，我们把这种现象叫作欠拟合(Underfitting)。

当我们发现当前的模型在训练集上误差一直维持较高的状态，很难优化减少，同时在测试集上也表现不佳时，我们可以考虑是否出现了欠拟合的现象。这个时候可以通过增加神经网络的层数、增大中间维度的大小等手段，比较好的解决欠拟合的问题。虽然在实际使用过程中，更多会碰到的应该是是出现过拟合现象。但正如奥卡姆剃刀原理（页首Tip)所说，我们应该优先选择使用更简单的神经网络，因为如此参数量会更少，更容易训练，也更容易通过较少的训练样本获得不错的泛化误差。

Code

首先导入所需要的库

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
import matplotlib.pyplot as plt
# 导入数据集生成工具
import numpy as np
import seaborn as sns
from sklearn.datasets import make_moons
from sklearn.model_selection import train_test_split
from tensorflow.keras import layers, Sequential

加载数据集并自定义绘图样式

plt.rcParams['font.size'] = 16
plt.rcParams['font.family'] = ['STKaiti']
plt.rcParams['axes.unicode_minus'] = False

# 采样点数
N_SAMPLES = 1000
# 测试数量比率
TEST_SIZE = None

X, y = make_moons(n_samples=N_SAMPLES, noise=0.25, random_state=100)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=TEST_SIZE, random_state=42)

绘制数据集分布

def make_plot(X, y, plot_name, file_name, XX=None, YY=None, preds=None, dark=False):
    if dark:
        plt.style.use('dark_background')
    else:
        sns.set_style("whitegrid")
    axes = plt.gca()
    axes.set_xlim([-2, 3])
    axes.set_ylim([-1.5, 2])
    axes.set(xlabel="$x_1$", ylabel="$x_2$")
    plt.title(plot_name, fontsize=20, fontproperties='SimHei')
    plt.subplots_adjust(left=0.20)
    plt.subplots_adjust(right=0.80)
    # 根据网络输出绘制预测曲面
    if(XX is not None and YY is not None and preds is not None):
        plt.contourf(XX, YY, preds.reshape(XX.shape), 25, alpha=0.08, cmap=plt.cm.Spectral)
        plt.contour(XX, YY, preds.reshape(XX.shape), levels=[.5], cmap="Greys", vmin=0, vmax=.6)
    # 绘制正负样本
    markers = ['o' if i == 1 else 's' for i in y.ravel()]
    mscatter(X[:, 0], X[:, 1], c=y.ravel(), s=20, cmap=plt.cm.Spectral, edgecolors='none', m=markers, ax=axes)
    # 保存矢量图
    plt.savefig(file_name)


def mscatter(x, y, ax=None, m=None, **kw):
    import matplotlib.markers as mmarkers
    if not ax: ax = plt.gca()
    sc = ax.scatter(x, y, **kw)
    if (m is not None) and (len(m) == len(x)):
        paths = []
        for marker in m:
            if isinstance(marker, mmarkers.MarkerStyle):
                marker_obj = marker
            else:
                marker_obj = mmarkers.MarkerStyle(marker)
            path = marker_obj.get_path().transformed(
                marker_obj.get_transform())
            paths.append(path)
        sc.set_paths(paths)
    return sc

make_plot(X, y, None, "月牙形状二分类数据集分布.svg")

接下来让我们看看网络层数的影响，这里注意网络容器 Sequential的使用以及模型的装配、训练操作

# 构建 5 种不同层数的网络
for n in range(5):
    # 创建容器
    model = Sequential()
    # 创建第一层
    model.add(layers.Dense(8, input_dim=2, activation='relu'))
    # 添加 n 层，共 n+2 层
    for _ in range(n):
        model.add(layers.Dense(32, activation='relu'))
    # 创建最末层
    model.add(layers.Dense(1, activation='sigmoid'))
    # 模型装配与训练
    model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
    model.fit(X_train, y_train, epochs=500, verbose=1)
    # 绘制不同层数的网络决策边界曲线
    # 可视化的 x 坐标范围为[-2, 3]
    xx = np.arange(-2, 3, 0.01)
    # 可视化的 y 坐标范围为[-1.5, 2]
    yy = np.arange(-1.5, 2, 0.01)
    # 生成 x-y 平面采样网格点，方便可视化
    XX, YY = np.meshgrid(xx, yy)
    preds = model.predict_classes(np.c_[XX.ravel(), YY.ravel()])
    title = "网络层数：{0}".format(2 + n)
    file = "网络容量_%i.png" % (2 + n)
    make_plot(X_train, y_train, title, file, XX, YY, preds)

...
...
Epoch 500/500
750/750 [==============================] - 0s 68us/sample - loss: 0.0921 - accuracy: 0.9547

思考

按照原先的想法，接下来要接触的是卷积神经网络、循环神经网络与自编码器，并同时拓展深度学习的实战项目，实际也许也不会有太大出入，接下来谈谈嗯我的一些想法吧：
经过之前的学习，首先是对Tensorflow的使用的初步掌握，这主要体现在代码逻辑和几个“方法”的理解。而谈及“深度学习”，在我开始正式学习Tensorflow之前就有Tensorflow是一个工具的认知，故对Tensorflow的学习与对深度学习的理解不能混为一谈，深度学习的涉及，我暂时是认为应体现在对图像、语音、视频的处理中，它所针对的，可以说是一个个的”任务“吧，而在处理这些任务时，他的”模式“是”网络“或严谨来说应该是”神经网络“。
“深度”的概念，是复杂？实际说也确实不简单，但复杂可能并不贴切，我们并不是为复杂而复杂，~~程序猿本就是本着从简的原则处理程序~~“一切都应该尽可能地简单，但不能过于简单”,”深度”所体现的我认识应该是指他的容量吧，一个词我认为很贴切，那就是”大数据“。
概念上的理解大致这样吧，刚接触的小小白也不大现实有太深的理解，而对深度学习的学习看法，简单来说就该是提炼模型了，对模型的建立、训练就是借助Tensorflow所要完成的任务，还有一点不得不提的就是对Python的学习了，庆幸在此方面我还算有个不算太薄的底子吧。