flink 内存配置（四）：内存调优和问题处理

基于 JVM 内存存在一些问题，并且在大数据场景下，无法在内存中存储海量数据，计算效率无法提高。Flink 社区采用自主内存管理设计，设计了两种内存模型 JobManager 内存模型和 TaskManager 内存模型。

Hadoop生态系统是一套能够进行分布式存储和处理大数据的工具集合。它主要包含以下核心组件：HDFS(Hadoop Distributed File System)：一个高度容错的系统，适合在廉价硬件上运行。HDFS提供高吞吐量的数据访问，非常适合大规模数据集的应用。MapReduce：一种编程模型，用于处理和生成大数据集。用户可以编写Map和Reduce函数，MapReduce框架会将任务分布式执行。YARN。

修改conf中的 flink-conf.yaml 文件。

flink 安装配置

1、Flink 内存优化 1.1Flink 的内存管理 开源的大数据框架基本上大多数都是基于 JVM 运行的，如 Hadoop、Spark、 Storm，但是基于 JVM 的内存管理机制往往存在着类似于内存溢出等问题，主要 是因为创建的对象过多而超过 JVM 的最大堆内存限制，却没有被有效的回收掉， 仅仅靠 JVM 所提供的各种垃圾回收机制很难解决内存溢出等问题。尤其是几十 甚至上百 G 的内存应用时会生成大量对象，Java GC 可能会被反复触发，其中 Full GC 或 Major GC 的开销是非常大

Flink的安装配置 单机： 解压：（找到你想放地目录下） tar zxvf flink-1.6.1-bin-hadoop27-scala_2.11.tgz -C 修改配置文件：（flink/conf/） masters，slaves，flink-conf.yaml masters： node7-1:8081 slaves: node7-2 node7-3 flink-conf.yaml jobmanager.rpc.address: node7-1 ...

系列文章目录 第一章 资源配置调优 第二章 状态及Checkpoint 调优 第三章 反压处理 第四章 数据倾斜 第五章 job优化 第六章 flinksql调优 第七章 常见故障排查 本文目录前言一、内存设置1.TaskManager 内存模型及解释2.案例分析总结 前言 Flink性能调优的第一步，就是为任务分配 合适 的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 一、内存设置 1.TaskManager 内存模型

布隆过滤器本质上是一个二进制向量(位数组)和一系列随机映射函数(哈希函数)，用于判断数据一定不存在，或者可能存在。使用布隆过滤器去重，首先准备长度为M的位数组和K个哈希函数，对于到来的数据进行K次哈希，并将位数组中hash值对应的位置修改为1。举例说明，现有4条所需处理数据(ZFB,WX,DY,ZFB)，准备以下位数组以及2个哈希函数位数组第一条数据ZFB到来，经过两次哈希，分别将位数组哈希对应位置由0修改为1第二条数据WX到来，经过两次哈希，分别将位数组哈希对应位置由0修改为1。

用于网络缓冲区的 JVM 内存的分数。该配置必须匹配 “security.kerberos.login.contexts” 中的列表（含有一个）：zookeeper.sasl.login-context-name: Client。以逗号分隔的目录列表，用于监视已完成的作业：historyserver.archive.fs.dir: hdfs:///completed-jobs/将已完成的作业上传到的目录：jobmanager.archive.fs.dir: hdfs:///completed-jobs/

【Flink精讲】Flink性能调优：内存调优 JVM metaspace： JVM 元空间taskmanager.memory.jvm-metaspace.size，默认 256mb2） JVM over-head 执行开销： JVM 执行时自身所需要的内容，包括线程堆栈、 IO、编译缓存等所使用的内存。总进程内存*fraction，如果小于配置的 min（或大于配置的 max） 大小，则使用 min/max大小。

这里只是针对我的flink作业，做的内存调整优化，因为我的flink作业对于托管内存使用并不大，所以我可以这样设定，各位的flink作业未必。想说的就是，各位根据自己的flink作业去灵活的调整各个部分使用的内存大小，要对照各自的flink作业和业务了解这个内存是干什么用的，根据数据量预估大概使用多少量，必要时要进行压测。在设定的过程中，整体上一定要遵守flink的内存计算规则和约束，这些在官网的介绍中都有。最后，祝各位flink作业不挂，并且在调优的道路上越走越远。。。

conda deactivate 退出 base环境Flink支持多种安装模式。local（本地）——本地模式standalone——独立模式，Flink自带集群，开发测试环境使用standaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用yarn——计算资源统一由Hadoop YARN管理，生产环境测试。

flink 性能优化 内存配置

Flink安装及配置 搭建单机模式 1.下载Flink，要匹配自己的hadoop版本和Scala版本 2.将Flink上传到虚拟机中解压 tar -zxvf flink-1.7.2-bin-hadoop28-scala_2.11.tgz 3.配置环境变量 vi /etc/profile #Filnk-1.7.2 export FLINK_HOME=/root/apps/flink-...

flink安装及其配置

目录资源配置调优Task Manager内存模型分配CPU资源并行度设置状态及CheckPoint调优RocksDB大状态调优CheckPoint设置反压处理数据倾斜处理Job优化FlinkSQL调优常见故障排除 资源配置调优 资源配置概述 Flink性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。提交方式主要是yarn-per-job，资源的分配在使用脚本提交Flink任务时进行指定 官