Jupyter Docker Stacks 镜像特性详解：Spark与TensorFlow专项指南-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00988/article/details/148441143

Jupyter Docker Stacks 镜像特性详解：Spark与TensorFlow专项指南

docker-stacks Ready-to-run Docker images containing Jupyter applications 项目地址: https://gitcode.com/gh_mirrors/do/docker-stacks

前言

Jupyter Docker Stacks项目提供了一系列预配置的Docker镜像，专为数据科学和机器学习工作流设计。本文将深入解析其中与Apache Spark和TensorFlow相关的特殊功能配置，帮助开发者充分利用这些工具的强大功能。

Apache Spark镜像专项配置

端口映射与Spark UI访问

使用jupyter/pyspark-notebook和jupyter/all-spark-notebook镜像时，默认会启用Spark UI监控界面（端口4040）。为了从宿主机访问此界面，需要显式映射端口：

docker run -p 8888:8888 -p 4040:4040 -p 4041:4041 镜像名称

技术细节：

每个新创建的Spark上下文会使用递增端口（4040、4041等）
实际使用时可能需要映射多个连续端口以支持多个Spark上下文

日志输出控制

Spark镜像默认禁用了IPython的低级输出捕获和转发功能，这是为了避免Spark启动时（特别是使用Ivy加载额外jar包时）产生的大量日志干扰笔记本界面。

如需在笔记本中显示这些日志，可通过以下步骤配置：

创建IPython配置文件（如不存在）：

ipython profile create

修改~/.ipython/profile_default/ipython_kernel_config.py文件：

c.IPKernelApp.capture_fd_output = True

重启内核使配置生效

自定义Spark版本构建

用户可以通过构建参数自定义Spark环境：

关键构建参数：

openjdk_version：指定OpenJDK版本（默认为17）
spark_version：指定Spark版本（不指定则安装最新版）
hadoop_version：指定Hadoop版本（默认为3）
scala_version：指定Scala版本（可选）
spark_download_url：自定义下载源URL

构建示例（Spark 3.2.0 + Hadoop 3.2 + OpenJDK 11）：

docker build -t my-pyspark-notebook ./images/pyspark-notebook \
    --build-arg openjdk_version=11 \
    --build-arg spark_version=3.2.0 \
    --build-arg hadoop_version=3.2 \
    --build-arg spark_download_url="https://archive.apache.org/dist/spark/"

版本兼容性注意：

Spark 3.3+支持简化的Hadoop版本号（如"3"）
较早版本需要完整版本号（如"3.2"）
Java版本必须与Spark发行版要求匹配

Spark使用模式详解

本地模式（Local Mode）

本地模式适合小规模数据测试，所有执行组件运行在单个JVM中。

Python示例

from pyspark.sql import SparkSession
spark = SparkSession.builder.master("local").getOrCreate()
sc = spark.sparkContext
rdd = sc.parallelize(range(101))
print(rdd.sum())  # 输出5050

R语言示例（SparkR）

library(SparkR)
sparkR.session("local")
sdf <- createDataFrame(list(1:100))
dapplyCollect(sdf, function(x) sum(x))

R语言示例（sparklyr）

library(sparklyr)
sc <- spark_connect(master = "local")
sdf_len(sc, 100) %>% spark_apply(function(e) sum(e))

独立集群模式（Standalone Mode）

连接Standalone集群需要特别注意：

确保镜像与集群Spark版本一致
使用--net=host运行容器
添加--pid=host -e TINI_SUBREAPER=true参数

Python连接示例

spark = SparkSession.builder \
    .master("spark://master:7077") \
    .getOrCreate()

环境变量配置

PYSPARK_PYTHON：设置worker节点Python路径
PYSPARK_DRIVER_PYTHON：设置driver节点Python路径

依赖管理

可以通过以下两种方式添加Spark依赖：

动态加载（推荐）：

SparkSession.builder \
    .config("spark.jars.packages", "org.group:artifact:version") \
    .getOrCreate()

静态配置（构建镜像时）：

RUN echo "spark.jars.packages org.group:artifact:version" >> "$SPARK_HOME/conf/spark-defaults.conf"

依赖包默认下载到${HOME}/.ivy2/jars目录，可通过spark.jars.ivy参数修改。

TensorFlow镜像专项配置

jupyter/tensorflow-notebook镜像支持TensorFlow的单机和分布式运行模式。

单机模式示例

import tensorflow as tf
hello = tf.Variable("Hello World!")
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(hello))

分布式模式示例

import tensorflow as tf
hello = tf.Variable("Hello Distributed World!")
server = tf.train.Server.create_local_server()
with tf.Session(server.target) as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(hello))