- 博客(12)
- 收藏
- 关注
RSS订阅原创 spark执行图
4、现在，Executors 执行 driver 分配的所有任务。同时，应用程序运行时，驱动程序监视运行的执行器。当它调用sparkcontext的stop方法时，它会终止所有的执行器。2、此外，它将 DAG 转换为具有阶段集的物理执行计划。同时，它在每个阶段下创建称为任务的小型执行单元。此时，基于数据，放置驱动程序将任务发送到集群管理器。1、当作业进入时，驱动程序将代码转换为逻辑有向无环图 (DAG)。然后，驱动程序执行某些优化，例如管道转换。3、在执行器开始执行之前，执行器将自己注册到驱动程序中。
2024-08-01 12:12:03
235
原创 flink任务的taskmanager失败Heartbeat of TaskManager with id taskmanager-1-1 timed out.
flink的taskmanager任务失败，问题java.util.concurrent.TimeoutException:HeartbeatofTaskManagerwithidjob-af2f94d0-59d7-4e51-aa55-dc91d1a264a8-taskmanager-1-1timedout.
2022-11-23 09:21:14
3900
原创 flinksql任务-任务失败因concurrent upload/insert operations on the same table
Caused by: java.lang.RuntimeException: RequestId=20221114110517d4cadc0b06f046a4, ErrorCode=MetaTransactionFailed, ErrorMessage=Operation failed due to concurrent upload/insert operations on the same table.
2022-11-21 10:56:45
338
原创 KMP算法
KMP算法是一个字符串匹配算法，取得是三个发明人的名字首字母。KMP算法的作用 是在一个已知字符串中查找子串的位置,也叫做串的模式匹配，后文主串和模式串匹配， 子串和模板串匹配。
2022-11-18 13:47:51
461
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人