spark学习-41-Spark的块传输服务BlockTransferService

最新推荐文章于 2020-07-07 10:13:04 发布

九师兄

最新推荐文章于 2020-07-07 10:13:04 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据-spark 文章标签： spark 块传输服务 Block Transfer Service

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/78645708

大数据-spark 专栏收录该内容

204 篇文章 ¥49.90 ¥99.00

订阅专栏

本文深入探讨Spark的块传输服务BlockTransferService，重点介绍默认的Netty实现，它作为网络应用框架，用于获取远程节点的Block集合。在SparkEnv初始化时创建，NettyBlockTransferService提供了关键功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

1.blockTransferService默认为NettyBlockTransferService ,它使用Netty法人一步时间驱动的网络应用框架，提供web服务及客户端，获取远程节点上的Block集合。

2.块传输服务BlockTransferService是在SparkEvn初始化的时候创建的

// =================================.创建块传输服务BlockTransferService;===========================
    /*
        blockTransferService默认为NettyBlockTransferService（可以配置属相spark.shuffle.blockTransferService使用NioBlockTransferService）
        ,它使用Netty法人一步时间驱动的网络应用框架，提供web服务及客户端，获取远程节点上的Block集合。
     */
    val blockTransferService =
      new NettyBlockTransferService(conf, securityManager, bindAddress, advertiseAddress,
        blockManagerPort, numUsableCores)

3。NettyBlockTransferService继承与Bloc

了解本专栏