PyTorch深度学习: Chinese Edition

版 权 信 息

书 名： P y T o r c h 深 度 学 习

I S B N： 9 7 8 - 7 - 1 1 5 - 5 0 8 9 8 - 0

本 书 由 人 民 邮 电 出 版 社 发 行 数 字 版。 版 权 所 有， 侵 权 必 究。

您 购 买 的 人 民 邮 电 出 版 社 电 子 书 仅 供 您 个 人 使 用， 未 经 授 权， 不 得 以 任 何 方 式 复 制 和 传 播 本 书 内 容。

我 们 愿 意 相 信 读 者 具 有 这 样 的 良 知 和 觉 悟， 与 我 们 共 同 保 护 知 识 产 权。

如 果 购 买 者 有 侵 权 行 为， 我 们 可 能 对 该 用 户 实 施 包 括 但 不 限 于 关 闭 该 帐 号 等 维 权 措 施， 并 可 能 追 究 法 律 责 任。

版 权

著 [ 印 度] 毗 湿 奴• 布 拉 马 尼 亚 ( V i s h n u S u b r a m a n i a n)

译 王 海 玲 刘 江 峰

审 校 李 昉

责 任 编 辑 傅 道 坤

人 民 邮 电 出 版 社 出 版 发 行 北 京 市 丰 台 区 成 寿 寺 路 1 1 号

邮 编 1 0 0 1 6 4 电 子 邮 件 3 1 5 @ p t p r e s s. c o m. c n

网 址 h t t p: / / w w w. p t p r e s s. c o m. c n

读 者 服 务 热 线：( 0 1 0) 8 1 0 5 5 4 1 0

反 盗 版 热 线：( 0 1 0) 8 1 0 5 5 3 1 5

版 权 声 明

C o p y r i g h t © P a c k t P u b l i s h i n g 2 0 1 8. F i r s t p u b l i s h e d i n t h e E n g l i s h l a n g u a g e u n d e r t h e t i t l e D e e p L e a r n i n g w i t h P y T o r c h.

A l l R i g h t s R e s e r v e d.

本 书 由 英 国 P a c k t P u b l i s h i n g 公 司 授 权 人 民 邮 电 出 版 社 出 版。 未 经 出 版 者 书 面 许 可， 对 本 书 的 任 何 部 分 不 得 以 任 何 方 式 或 任 何 手 段 复 制 和 传 播。

版 权 所 有， 侵 权 必 究。

内 容 提 要

P y T o r c h 是 F a c e b o o k 于 2 0 1 7 年 初 在 机 器 学 习 和 科 学 计 算 工 具 T o r c h 的 基 础 上， 针 对 P y t h o n 语 言 发 布 的 一 个 全 新 的 机 器 学 习 工 具 包， 一 经 推 出 便 受 到 了 业 界 的 广 泛 关 注 和 讨 论， 目 前 已 经 成 为 机 器 学 习 从 业 人 员 首 选 的 一 款 研 发 工 具。

本 书 是 使 用 P y T o r c h 构 建 神 经 网 络 模 型 的 实 用 指 南， 内 容 分 为 9 章， 包 括 P y T o r c h 与 深 度 学 习 的 基 础 知 识、 神 经 网 络 的 构 成、 神 经 网 络 的 高 级 知 识、 机 器 学 习 基 础 知 识、 深 度 学 习 在 计 算 机 视 觉 中 的 应 用、 深 度 学 习 在 序 列 数 据 和 文 本 中 的 应 用、 生 成 网 络、 现 代 网 络 架 构， 以 及 P y T o r c h 与 深 度 学 习 的 未 来 走 向。

本 书 适 合 对 深 度 学 习 领 域 感 兴 趣 且 希 望 一 探 P y T o r c h 究 竟 的 业 内 人 员 阅 读； 具 备 其 他 深 度 学 习 框 架 使 用 经 验 的 读 者， 也 可 以 通 过 本 书 掌 握 P y T o r c h 的 用 法。

序

在 过 去 的 几 年 里， 我 一 直 与 V i s h n u S u b r a m a n i a n 共 事。 V i s h n u 给 人 的 印 象 是 一 位 热 情 的 技 术 分 析 专 家， 他 具 备 达 到 卓 越 所 需 的 严 谨 性。 他 对 大 数 据、 机 器 学 习、 人 工 智 能 的 观 点 很 有 见 地， 并 对 问 题 和 解 决 办 法 的 前 景 进 行 了 分 析 和 评 价。 由 于 与 他 关 系 密 切， 我 很 高 兴 能 以 A f f i n e 首 席 执 行 官 的 身 份 为 本 书 作 序。

要 想 更 成 功 地 为 财 富 5 0 0 强 客 户 提 供 深 度 学 习 解 决 方 案， 显 然 需 要 快 速 的 原 型 设 计。 P y T o r c h 允 许 对 分 析 中 的 项 目 进 行 快 速 原 型 化， 而 不 必 过 于 担 心 框 架 的 复 杂 性。 借 助 于 能 更 快 交 付 解 决 方 案 的 框 架， 开 发 人 员 的 能 力 将 发 挥 到 极 致。 作 为 一 名 提 供 高 级 分 析 解 决 方 案 的 企 业 家， 在 团 队 中 建 立 这 种 能 力 是 我 的 首 要 目 标。 本 书 中， V i s h n u 将 带 领 读 者 了 解 使 用 P y T o r c h 构 建 深 度 学 习 解 决 方 案 的 基 本 知 识， 同 时 帮 助 读 者 建 立 一 种 面 向 现 代 深 度 学 习 技 术 的 思 维 模 式。

本 书 前 半 部 分 介 绍 了 深 层 学 习 和 P y T o r c h 的 几 个 基 本 构 造 块， 还 介 绍 了 关 键 的 概 念， 如 过 拟 合、 欠 拟 合 以 及 有 助 于 处 理 这 些 问 题 的 技 术。

在 本 书 后 半 部 分， V i s h n u 介 绍 了 最 新 的 概 念， 如 C N N、 R N N、 使 用 预 卷 积 特 征 的 L S T M 迁 移 学 习、 一 维 卷 积， 以 及 如 何 应 用 这 些 技 术 的 真 实 案 例。 最 后 两 章 介 绍 了 现 代 深 度 学 习 体 系 结 构， 如 I n c e p t i o n、 R e s N e t、 D e n s e N e t 模 型 和 它 们 的 集 成， 以 及 生 成 网 络 如 风 格 迁 移、 G A N 和 语 言 建 模 等。

因 为 有 了 所 有 这 些 实 用 案 例 和 详 细 的 解 释， 对 想 要 精 通 深 度 学 习 的 读 者， 本 书 无 疑 是 最 佳 的 图 书 之 一。 今 天， 技 术 发 展 的 速 度 是 无 与 伦 比 的。 对 于 期 待 开 发 成 熟 的 深 度 学 习 解 决 方 案 的 读 者， 我 想 指 出 的 是， 合 适 的 框 架 也 会 推 动 合 适 的 思 维 方 式。

祝 本 书 所 有 读 者 可 以 快 乐 地 探 索 新 世 界！

祝 V i s h n u 和 本 书 取 得 巨 大 的 成 功， 此 乃 实 至 名 归。

M a n a s A g a r w a l

A f f i n e A n a l y t i c s 公 司 联 合 创 始 人 兼 C E O

印 度 班 加 罗 尔

作 者 简 介

V i s h n u S u b r a m a n i a n 在 领 导、 设 计 和 实 施 大 数 据 分 析 项 目 （ 人 工 智 能、 机 器 学 习 和 深 度 学 习） 方 面 富 有 经 验。 擅 长 机 器 学 习、 深 度 学 习、 分 布 式 机 器 学 习 和 可 视 化 等。 在 零 售、 金 融 和 旅 行 等 行 业 颇 具 经 验， 还 善 于 理 解 和 协 调 企 业、 人 工 智 能 和 工 程 团 队 之 间 的 关 系。

献 辞

献 给 J e r e m y H o w a r d 和 R a c h e l T h o m a s， 感 谢 他 们 对 我 写 作 本 书 的 鼓 励， 感 谢 家 人 对 我 的 爱 和 关 心！

致 谢

如 果 没 有 J e r e m y H o w a r d 和 R a c h e l T h o m a s 的 f a s t. a i 的 启 发 和 网 络 公 开 课， 本 书 就 不 可 能 面 世。 感 谢 他 们 为 普 及 人 工 智 能 / 深 度 学 习 所 做 的 工 作。

审 稿 人 简 介

P o o n a m L i g a d e 是 一 名 自 由 职 业 者， 专 注 于 大 数 据 工 具， 如 S p a r k、 F l i n k 和 C a s s a n d r a， 以 及 可 扩 展 的 机 器 学 习 和 深 度 学 习 方 面 的 工 作。 她 也 是 一 位 顶 级 的 K a g g l e 核 心 作 者。

译 者 简 介

王 海 玲， 毕 业 于 吉 林 大 学 计 算 机 系， 从 小 喜 爱 数 学， 曾 获 得 华 罗 庚 数 学 竞 赛 全 国 二 等 奖。 拥 有 世 界 5 0 0 强 企 业 多 年 研 发 经 验。 作 为 项 目 骨 干 成 员， 参 与 过 美 国 惠 普 实 验 室 机 器 学 习 项 目。

刘 江 峰， 重 庆 大 学 软 件 工 程 硕 士， 专 注 于 物 流、 旅 游、 航 空 票 务、 电 商 等 垂 直 技 术 领 域。 曾 在 上 市 公 司 内 带 领 团 队 与 去 哪 儿、 途 牛、 飞 猪 平 台 在 机 票、 旅 游 方 向 有 项 目 合 作。 目 前 在 任 职 公 司 主 要 负 责 带 领 攻 坚 团 队 为 公 司 平 台 深 度 整 合 人 工 智 能、 数 据 决 策 的 多 项 平 台 应 用。

译 稿 审 稿 人 简 介

李 昉， 毕 业 于 东 北 大 学 自 动 化 系， 大 学 期 间 曾 获 得 挑 战 杯 全 国 一 等 奖。 拥 有 惠 普、 文 思 海 辉 等 世 界 5 0 0 强 企 业 多 年 研 发 经 验， 随 后 加 入 互 联 网 创 业 公 司。 现 在 中 体 彩 彩 票 运 营 公 司 负 责 大 数 据 和 机 器 学 习 方 面 的 研 发。 同 时 是 集 智 俱 乐 部 成 员， 并 参 与 翻 译 了 人 工 智 能 图 书 D e e p T h i n k i n g。

前 言

P y T o r c h 以 其 灵 活 性 和 易 用 性 吸 引 了 数 据 科 学 专 业 人 士 和 深 度 学 习 业 者 的 注 意。 本 书 介 绍 了 深 度 学 习 和 P y T o r c h 的 基 本 组 成 部 分， 并 展 示 了 如 何 使 用 可 行 方 法 解 决 真 实 问 题， 以 及 一 些 用 于 解 决 当 代 前 沿 研 究 问 题 的 现 代 体 系 结 构 和 技 术。

本 书 在 不 深 入 数 学 细 节 的 条 件 下， 给 出 了 多 个 先 进 深 度 学 习 架 构 的 直 观 解 释， 如 R e s N e t、 D e n s e N e t、 I n c e p t i o n 和 S e q 2 S e q 等， 也 讲 解 了 如 何 进 行 迁 移 学 习， 如 何 使 用 预 计 算 特 征 加 速 迁 移 学 习， 以 及 如 何 使 用 词 向 量、 预 训 练 的 词 向 量、 L S T M 和 一 维 卷 积 进 行 文 本 分 类。

阅 读 完 本 书 后， 读 者 将 会 成 为 一 个 熟 练 的 深 度 学 习 人 才， 能 够 利 用 学 习 到 的 不 同 技 术 解 决 业 务 问 题。

目 标 读 者

本 书 面 向 的 读 者 包 括 工 程 师、 数 据 分 析 员、 数 据 科 学 家、 深 度 学 习 爱 好 者， 以 及 试 图 使 用 P y T o r c h 研 究 和 实 现 高 级 算 法 的 各 类 人 员。 如 果 读 者 具 备 机 器 学 习 的 知 识， 则 有 助 于 本 书 的 阅 读， 但 这 并 不 是 必 需 的。 读 者 最 好 了 解 P y t h o n 编 程 的 知 识。

本 书 内 容

第 1 章， P y T o r c h 与 深 度 学 习， 回 顾 了 人 工 智 能 和 机 器 学 习 的 发 展 史， 并 介 绍 了 深 度 学 习 的 最 新 成 果， 以 及 硬 件 和 算 法 等 诸 多 领 域 的 发 展 如 何 引 发 了 深 度 学 习 在 不 同 应 用 上 的 巨 大 成 功。 最 后 介 绍 了 P y T o r c h 的 P y t h o n 库， 它 由 F a c e b o o k 基 于 T o r c h 构 建。

第 2 章， 神 经 网 络 的 构 成， 讨 论 了 P y T o r c h 的 不 同 组 成 部 分， 如 变 量、 张 量 和n n. m o d u l e， 以 及 如 何 将 其 用 于 开 发 神 经 网 络。

第 3 章， 深 入 了 解 神 经 网 络， 涵 盖 了 训 练 神 经 网 络 的 不 同 过 程， 如 数 据 的 准 备、 用 于 批 次 化 张 量 的 数 据 加 载 器、 创 建 神 经 架 构 的t o r c h. n n包 以 及 P y T o r c h 损 失 函 数 和 优 化 器 的 使 用。

第 4 章， 机 器 学 习 基 础， 介 绍 了 不 同 类 型 的 机 器 学 习 问 题 和 相 关 的 挑 战， 如 过 拟 合 和 欠 拟 合 等， 以 及 避 免 过 拟 合 的 不 同 技 术， 如 数 据 增 强、 加 入 d r o p o u t 和 使 用 批 归 一 化。

第 5 章， 深 度 学 习 之 计 算 机 视 觉， 介 绍 了 卷 积 神 经 网 络 的 基 本 组 成， 如 一 维 和 二 维 卷 积、 最 大 池 化、 平 均 池 化、 基 础 C N N 架 构、 迁 移 学 习 以 及 使 用 预 卷 积 特 征 加 快 训 练 等。

第 6 章， 序 列 数 据 和 文 本 的 深 度 学 习， 介 绍 了 词 向 量、 如 何 使 用 预 训 练 的 词 向 量、 R N N、 L S T M 和 对I M D B数 据 集 进 行 文 本 分 类 的 一 维 卷 积。

第 7 章， 生 成 网 络， 介 绍 了 如 何 使 用 深 度 学 习 生 成 艺 术 图 片、 使 用 D C G A N 生 成 新 图 片， 以 及 使 用 语 言 模 型 生 成 文 本。

第 8 章， 现 代 网 络 架 构， 介 绍 了 可 用 于 计 算 机 视 觉 的 现 代 架 构， 如 R e s N e t、 I n c e p t i o n 和 D e n s e N e t。 还 快 速 地 介 绍 了 可 用 于 现 代 语 言 翻 译 和 图 像 标 注 系 统 的 e n c o d e r - d e c o d e r 架 构。

第 9 章， 未 来 走 向， 总 结 了 本 书 所 学 内 容， 并 介 绍 了 如 何 紧 跟 深 度 学 习 领 域 的 最 新 潮 流。

最 大 化 利 用 本 书

本 书 除 第 1 章 与 第 9 章 之 外， 其 他 章 节 在 G i t H u b 库 中 都 有 对 应 的 J u p y t e r N o t e b o o k， 为 了 节 省 空 间， 可 能 未 包 含 运 行 所 需 的 导 入 语 句。 读 者 应 该 可 以 从 该 N o t e b o o k 中 运 行 所 有 代 码。

本 书 注 重 实 际 演 示， 请 在 阅 读 本 书 时 运 行 J u p e t e r N o t e b o o k。

使 用 带 有 G P U 的 计 算 机 有 助 于 代 码 运 行 得 更 快。 有 些 公 司 如 p a p e r s p a c e 和 c r e s t l e 抽 象 出 了 运 行 深 度 学 习 算 法 所 需 的 大 量 复 杂 度。

资 源 与 支 持

本 书 由 异 步 社 区 出 品， 社 区 （ h t t p s: / / w w w. e p u b i t. c o m /） 为 您 提 供 相 关 资 源 和 后 续 服 务。

配 套 资 源

本 书 提 供 如 下 资 源：

本 书 源 代 码；

本 书 彩 图 文 件。

要 获 得 以 上 配 套 资 源， 请 在 异 步 社 区 本 书 页 面 中 点 击 ， 跳 转 到 下 载 界 面， 按 提 示 进 行 操 作 即 可。 注 意： 为 保 证 购 书 读 者 的 权 益， 该 操 作 会 给 出 相 关 提 示， 要 求 输 入 提 取 码 进 行 验 证。

提 交 勘 误

作 者 和 编 辑 尽 最 大 努 力 来 确 保 书 中 内 容 的 准 确 性， 但 难 免 会 存 在 疏 漏。 欢 迎 您 将 发 现 的 问 题 反 馈 给 我 们， 帮 助 我 们 提 升 图 书 的 质 量。

当 您 发 现 错 误 时， 请 登 录 异 步 社 区， 按 书 名 搜 索， 进 入 本 书 页 面， 点 击 提 交 勘 误， 输 入 勘 误 信 息， 点 击 提 交 按 钮 即 可。 本 书 的 作 者 和 编 辑 会 对 您 提 交 的 勘 误 进 行 审 核， 确 认 并 接 受 后， 您 将 获 赠 异 步 社 区 的 1 0 0 积 分。 积 分 可 用 于 在 异 步 社 区 兑 换 优 惠 券、 样 书 或 奖 品。

与 我 们 联 系

我 们 的 联 系 邮 箱 是 c o n t a c t @ e p u b i t. c o m. c n。

如 果 您 对 本 书 有 任 何 疑 问 或 建 议， 请 您 发 邮 件 给 我 们， 并 请 在 邮 件 标 题 中 注 明 本 书 书 名， 以 便 我 们 更 高 效 地 做 出 反 馈。

如 果 您 有 兴 趣 出 版 图 书、 录 制 教 学 视 频， 或 者 参 与 图 书 翻 译、 技 术 审 校 等 工 作， 可 以 发 邮 件 给 我 们； 有 意 出 版 图 书 的 作 者 也 可 以 到 异 步 社 区 在 线 提 交 投 稿 （ 直 接 访 问 w w w. e p u b i t. c o m / s e l f p u b l i s h / s u b m i s s i o n 即 可）。

如 果 您 是 学 校、 培 训 机 构 或 企 业， 想 批 量 购 买 本 书 或 异 步 社 区 出 版 的 其 他 图 书， 也 可 以 发 邮 件 给 我 们。

如 果 您 在 网 上 发 现 有 针 对 异 步 社 区 出 品 图 书 的 各 种 形 式 的 盗 版 行 为， 包 括 对 图 书 全 部 或 部 分 内 容 的 非 授 权 传 播， 请 您 将 怀 疑 有 侵 权 行 为 的 链 接 发 邮 件 给 我 们。 您 的 这 一 举 动 是 对 作 者 权 益 的 保 护， 也 是 我 们 持 续 为 您 提 供 有 价 值 的 内 容 的 动 力 之 源。

关 于 异 步 社 区 和 异 步 图 书

异 步 社 区 是 人 民 邮 电 出 版 社 旗 下 I T 专 业 图 书 社 区， 致 力 于 出 版 精 品 I T 技 术 图 书 和 相 关 学 习 产 品， 为 作 译 者 提 供 优 质 出 版 服 务。 异 步 社 区 创 办 于 2 0 1 5 年 8 月， 提 供 大 量 精 品 I T 技 术 图 书 和 电 子 书， 以 及 高 品 质 技 术 文 章 和 视 频 课 程。 更 多 详 情 请 访 问 异 步 社 区 官 网 h t t p s: / / w w w. e p u b i t. c o m。

异 步 图 书 是 由 异 步 社 区 编 辑 团 队 策 划 出 版 的 精 品 I T 专 业 图 书 的 品 牌， 依 托 于 人 民 邮 电 出 版 社 近 3 0 年 的 计 算 机 图 书 出 版 积 累 和 专 业 编 辑 团 队， 相 关 图 书 在 封 面 上 印 有 异 步 图 书 的 L O G O。 异 步 图 书 的 出 版 领 域 包 括 软 件 开 发、 大 数 据、 A I、 测 试、 前 端、 网 络 技 术 等。

异 步 社 区

微 信 服 务 号

第 1 章 P y T o r c h 与 深 度 学 习

深 度 学 习 改 变 了 很 多 产 业， 吴 恩 达 （ A n d r e w N g） 曾 在 他 的 推 特 上 这 样 描 述：

A r t i f i c i a l I n t e l l i g e n c e i s t h e n e w e l e c t r i c i t y！ （ 人 工 智 能 犹 如 新 型 电 力!）

电 能 的 应 用 曾 为 无 数 行 业 带 来 了 巨 变， 如 今 人 工 智 能 也 将 带 来 同 样 的 震 撼。

人 工 智 能 和 深 度 学 习 虽 然 经 常 被 当 成 同 义 词 使 用， 但 实 际 上 这 两 个 术 语 有 本 质 的 区 别。 我 们 会 从 专 业 的 角 度 解 释 这 两 个 术 语， 作 为 业 内 人 士 的 你 就 可 以 像 区 分 信 号 和 噪 声 一 样 区 分 它 们。

本 章 将 讲 解 人 工 智 能 的 以 下 内 容：

人 工 智 能 及 其 源 起；

现 实 世 界 中 的 机 器 学 习；

深 度 学 习 的 应 用；

为 何 要 研 究 深 度 学 习；

深 度 学 习 框 架 P y T o r c h。

1. 1 人 工 智 能

现 今 每 天 都 有 很 多 人 工 智 能 的 文 章 发 表， 并 且 在 最 近 两 年 愈 演 愈 烈。 网 络 上 关 于 人 工 智 能 的 定 义 有 几 种 说 法， 我 最 喜 欢 的 一 个 是， 通 常 由 人 完 成 的 智 能 任 务 的 自 动 化。

1. 1. 1 人 工 智 能 发 展 史

1 9 5 6 年， 约 翰· 麦 肯 锡 （ J o h n M c C a r t h y） 主 持 召 开 了 第 一 次 人 工 智 能 的 学 术 会 议， 并 创 造 了 人 工 智 能 这 个 术 语。 然 而 早 在 此 之 前， 关 于 机 器 是 否 会 思 考 的 讨 论 就 已 经 开 始。 人 工 智 能 发 展 初 期， 机 器 已 经 可 以 解 决 对 于 人 类 比 较 困 难 的 问 题。

例 如， 德 国 制 造 了 在 第 二 次 世 界 大 战 后 期 用 于 军 事 通 信 的 恩 尼 格 玛 密 码 机 （ E n i g m a m a c h i n e）。 阿 兰· 图 灵 （ A l a n T u r i n g） 则 构 建 了 一 个 用 于 破 解 恩 尼 格 玛 密 码 机 的 人 工 智 能 系 统。 人 类 破 译 恩 尼 格 玛 密 码 是 一 个 非 常 有 挑 战 性 的 任 务， 并 往 往 会 花 费 分 析 员 数 周 的 时 间。 而 人 工 智 能 机 器 几 个 小 时 就 可 以 完 成 破