NBA首席形象大使坤坤

下载链接：https://www.cloudera.com/downloads/cdf/csa-trial.html点击后选择版本，然后点击download now，会有一个协议，勾选即可，然后就有三个文件列表，我这里是已经注册登录的状态，如果没有注册，会有一个下载前的信息收集，随便填写一些用途、岗位、公司等，就可以过。依次下载即可。如果json下载不了，复制内容粘贴到json文件。下载有点慢，我发布到某度网盘和CSDN了某度：链接：https://pan.baidu.com/s

SparkUnitFunction：用于获取Spark Sessionpackage com.example.unitlimport org.apache.spark.sql.SparkSessionobject SparkUnit { def getLocal(appName: String): SparkSession = { SparkSession.builder().appName(appName).master("local[*]").getOrCreate() }

创建表后却无法写入数据？报错内容：== Exception in thread “main” org.apache.spark.SparkException: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrictat org.apache.spark.sql.hive.exec

yarn拉取日志命令：yarn logs -applicationId application_1624172467753_3988 -appOwner root -size_limit_mb -1 > ./application_1624172467753_3988.log加 -appOwner 是防止权限问题但是可能会遇到日志过大无法拉取的情况（默认最大10G）解决办法：加参数 -size_limit_mb -1即可yarn logs -applicationId app

今天在做kudu高可用的时候没有参考官网，直接按照常规方式（添加角色—>编辑属性—>启动）结果发现报错？然后参考了一下文档之后发现这玩意儿还有点玄学，做一下记录。1.添加两个master。kudu master有leader和slvae之分，所以必须是奇数（3或者5），添加之后不要启动不要启动不要启动！！！2.创建目录并赋权，注意对应到自己创建master的时候的目录mkdir -p /data1/kudu/master/knwd mkdir -p /data1/kudu/maste

今天在漏洞扫描的时候蹦出来一个zookeeper的漏洞问题，即使是非zookeeper的节点，或者是非集群内部节点，也可以通过nc扫描2181端口，获取极多的zk信息。关于漏洞的详细描述参考apache zookeeper官方概述：CVE-2018-8012: Apache ZooKeeper Quorum Peer mutual authentication漏洞演示：这是一个CDP集群，里面有三个物理节点，每个节点各自有一个zk实例，注意看IP。另开一台非集群节点的连接，使用echo conf

1.查看swap分区挂载路径(没卵用)swapon -s2.设置配置文件的swap配置echo “vm.swappiness = 0” > /etc/sysctl.conf3.设置内存中的swap状态。有时候配置文件为0，但仍然使用swap分区，可能原因就是内存没有配置echo “0” > /proc/sys/vm/swappiness4.生效配置sysctl -p5.将/etc/fstab文件中所有设置为swap的设备关闭swapoff -a前两台关闭结果：...

（一）查看内核：uname -a[root@cdh1 ~]# uname -aLinux cdh1.macro.com 3.10.0-1062.el7.x86_64 #1 SMP Wed Aug 7 18:08:02 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux（二）查看系统：cat /etc/redhat-release[root@cdh1 ~]# cat /etc/redhat-release CentOS Linux release 7.7.1908 (C

目录标题一、> /dev/null 2>&1 命令解析二、/dev/null 文件浅显理解三、标准输入、标准输出、标准错误输出四、输入重定向、输出重定向五、命令作用与应用场景如果想看命令意义，可以直接跳到第五部分一、> /dev/null 2>&1 命令解析我们在别人的脚本里面常常可以看见这样的代码：2>/dev/null或者是这样：0 */3 * * * /usr/local/apache2/apachectl restart >/dev

安装好Hadoop后我们可以使用开机自启动的方式，节约敲命令的时间。注意是centOS7版本!!!和centOS6版本区别非常大!!!1、切换到系统目录[root@master ~]# cd /etc/systemd[root@master systemd]# ll total 32-rw-r--r-- 1 root root 720 Jun 30 23:11 bootchart.conf-rw-r--r-- 1 root root 615 Jun 30 23:11 coredump

第一种：配置问题这是别人的图片，据楼主排查解决是因为hosts配置问题？？？我想知道hosts没配置好，Hadoop是怎么撑到MR的…现象：各种无法运行、启动解决办法：1、修改日志级别export HADOOP_ROOT_LOGGER=DEBUG,console查看下详细信息，定位到具体问题解决第二种：服务器问题**现象：**运行到job时卡住不动**原因：**服务器配置低下，内存小或磁盘小**解决办法：**修改yarn.site.xml配置<!--每个磁盘的磁盘利用率百分比

笼统的来说，大数据的架构一共有五层。首先是数据源层即最原始的数据层。数据在这一层里，还只是杂草地里的野菜。如果要问这片地的具体信息，目前来讲有三个地方：一个地方是企业内部自有数据，例如淘宝、京东等电商平台的用户信息、订单信息、商品信息等；另一个地方是第三方数据，即专门做数据买卖的公司。现在国家对数据和个人隐私的重视，导致这类数据交易的公司和平台逐渐息声；还有一个地儿是互联网数据。这片土地上的宝藏就太多太多了，什么天气数据、公司信息、航班信息等等，五花八门，让人眼花缭乱。在数据源和数据存储之间