多线程批量提交Spark任务

最新推荐文章于 2024-03-13 14:10:36 发布

数据小二

最新推荐文章于 2024-03-13 14:10:36 发布

阅读量1.5k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：大数据 Java spark调度系统文章标签：多线程提交任务批量提交spark任务

本文链接：https://blog.csdn.net/Mirror_w/article/details/112315458

一.目的

1.避免资源的浪费

2.提高任务执行的效率

3.防止任务未执行完毕，session和线程池已关闭，导致任务失败

二、异常coding：

1）method 1

  for (String s : list) {
            Dataset<Row> sql = sparkSession.sql(s);
            sql.show();
        }
        sparkSession.close();
        System.out.println("=====任务执行完毕====");

2)method 2

      //启动多线程
        ExecutorService executorService = Executors.newFixedThreadPool(list.size());
        for (String s : list) {
            executorService.submit(new Runnable() {
                @Override
                public void run() {
                    Dataset<Row> sql = sparkSession.sql(s);
                    sql.show();
                }
            });
        }

        //关闭session和线程池
        executorService.shutdown();
        sparkSession.close();