Azkaban安装配置

拖入并解压安装包:azkaban.zip

unzip azkaban.zip 

如果没有unzip ,需要下载插件:

yum install unzip

解压完毕我们可以看见 /root/apps/下多了一个文件夹 “share1”:

[root@hdp-3 apps]# ll
总用量 394100
drwxr-xr-x.  8 root root       159 6月   4 2019 apache-hive-1.2.1-bin
-rw-r--r--.  1 root root  23255397 12月  4 16:32 azkaban.zip
-rw-r--r--.  1 root root  91429350 11月  4 08:51 elasticsearch-6.3.1.tar.gz
drwxrwxr-x. 10 root root       161 4月   1 2019 hadoop-2.8.1
drwxr-xr-x.  8 root root       172 6月   4 2019 hbase-1.2.1
drwxr-xr-x.  7 root root       245 4月   1 2019 jdk1.8.0_201
drwxr-xr-x.  7 root root       101 10月 17 09:43 kafka_2.12-2.2.0
-rw-r--r--.  1 root root  57028557 10月 14 10:53 kafka_2.12-2.2.0.tgz
-rw-r--r--.  1 root root   1738465 10月 25 09:22 redis-4.0.10.tar.gz
drwxr-xr-x.  2 root root       108 12月  4 18:29 share1
drwxr-xr-x. 15 root root       235 11月 13 17:46 spark-2.4.4-bin-hadoop2.7
-rw-r--r--.  1 root root 230091034 11月 11 14:11 spark-2.4.4-bin-hadoop2.7.tgz
drwxr-xr-x.  9 1000 1000      4096 12月 19 2017 sqoop-1.4.7.bin__hadoop-2.6.0
drwxr-xr-x. 10 root root      4096 4月  22 2019 zookeeper-3.4.6

为了方便,我们把它改名为azkaban

mv share1/ azkaban

进入azkaban

cd azkaban/

可以看到:

[root@hdp-3 azkaban]# ll
总用量 22716
-rw-r--r--. 1 root root 11150318 9月  12 2018 azkaban-executor-2.5.0.zip
-rw-r--r--. 1 root root     1928 9月  12 2018 azkaban-sql-script-2.5.0.tar.gz
-rw-r--r--. 1 root root 12102703 9月  12 2018 azkaban-web-2.5.0.zip

分别解压这三个压缩包:

unzip azkaban-executor-2.5.0.zip
unzip azkaban-web-2.5.0.zip
tar -zxvf azkaban-sql-script-2.5.0.tar.gz

结果:

[root@hdp-3 share1]# ll
总用量 22720
drwxr-xr-x. 2 root root     4096 12月  4 18:31 azkaban-2.5.0
drwxr-xr-x. 7 root root       92 12月  3 2015 azkaban-executor-2.5.0
-rw-r--r--. 1 root root 11150318 9月  12 2018 azkaban-executor-2.5.0.zip
-rw-r--r--. 1 root root     1928 9月  12 2018 azkaban-sql-script-2.5.0.tar.gz
drwxr-xr-x. 8 root root      103 12月  3 2015 azkaban-web-2.5.0
-rw-r--r--. 1 root root 12102703 9月  12 2018 azkaban-web-2.5.0.zip

如果嫌乱,可以把压缩包删除掉:

[root@hdp-3 share1]# rm -rf azkaban-executor-2.5.0.zip 
[root@hdp-3 share1]# rm -rf azkaban-sql-script-2.5.0.tar.gz 
[root@hdp-3 share1]# rm -rf azkaban-web-2.5.0.zip 

目前 azkaban 只支持 mysql,需安装 mysql 服务器,本文档中默认已安装好 mysql 服务器,并建立了 root用户,密码 lwy092721
生成 keystore 的密码及相应信息

[root@hdp-3 ~]# keytool -keystore keystore -alias jetty -genkey -key
输入密钥库口令:  
再次输入新口令: 
您的名字与姓氏是什么?
  [Unknown]:  livia
您的组织单位名称是什么?
  [Unknown]:  zpark
您的组织名称是什么?
  [Unknown]:  zk^Hp
您所在的城市或区域名称是什么?
  [Unknown]:  beijing
您所在的省/市/自治区名称是什么?
  [Unknown]:  neimeng
该单位的双字母国家/地区代码是什么?
  [Unknown]:  ZG
CN=livia, OU=zpark, O=zp, L=beijing, ST=neimeng, C=ZG是否正确?
 []:  y

输入 <jetty> 的密钥口令
        (如果和密钥库口令相同, 按回车):  
再次输入新口令: 

Warning:
JKS 密钥库使用专用格式。建议使用 "keytool -importkeystore -srckeystore keystore -destkeystore keystore -deststoretype pkcs12" 迁移到行业标准格式 PKCS12。

将 keystore 拷贝到 azkaban web 服务器根目录中

 mv keystore /root/apps/azkaban/azkaban-web-2.5.0/

时间同步配置
先配置好服务器节点上的时区
如果在 /usr/share/zoneinfo/ 这个目录下不存在时区配置文件 Asia/Shanghai,就要用 tzselect 生成。

[root@hdp-3 azkaban-web-2.5.0]# tzselect
Please identify a location so that time zone rules can be set correctly.
Please select a continent or ocean.
 1) Africa
 2) Americas
 3) Antarctica
 4) Arctic Ocean
 5) Asia
 6) Atlantic Ocean
 7) Australia
 8) Europe
 9) Indian Ocean
10) Pacific Ocean
11) none - I want to specify the time zone using the Posix TZ format.
#? 5
Please select a country.
 1) Afghanistan           18) Israel                35) Palestine
 2) Armenia               19) Japan                 36) Philippines
 3) Azerbaijan            20) Jordan                37) Qatar
 4) Bahrain               21) Kazakhstan            38) Russia
 5) Bangladesh            22) Korea (North)         39) Saudi Arabia
 6) Bhutan                23) Korea (South)         40) Singapore
 7) Brunei                24) Kuwait                41) Sri Lanka
 8) Cambodia              25) Kyrgyzstan            42) Syria
 9) China                 26) Laos                  43) Taiwan
10) Cyprus                27) Lebanon               44) Tajikistan
11) East Timor            28) Macau                 45) Thailand
12) Georgia               29) Malaysia              46) Turkmenistan
13) Hong Kong             30) Mongolia              47) United Arab Emirates
14) India                 31) Myanmar (Burma)       48) Uzbekistan
15) Indonesia             32) Nepal                 49) Vietnam
16) Iran                  33) Oman                  50) Yemen
17) Iraq                  34) Pakistan
#? 9
Please select one of the following time zone regions.
1) Beijing Time
2) Xinjiang Time
#? 1

The following information has been given:

        China
        Beijing Time

Therefore TZ='Asia/Shanghai' will be used.
Local time is now:      Wed Dec  4 19:00:49 CST 2019.
Universal Time is now:  Wed Dec  4 11:00:49 UTC 2019.
Is the above information OK?
1) Yes
2) No
#? 1

You can make this change permanent for yourself by appending the line
        TZ='Asia/Shanghai'; export TZ
to the file '.profile' in your home directory; then log out and log in again.

Here is that TZ value again, this time on standard output so that you
can use the /usr/bin/tzselect command in shell scripts:
Asia/Shanghai

拷贝该时区文件,覆盖系统本地时区配置

[root@hdp-3 azkaban-web-2.5.0]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

集群时间同步

sudo date -s ‘2017-06-14 09:23:45’
hwclock -w

修改配置
([root@hdp-3 azkaban-web-2.5.0]# 下修改):
1、azkaban.properties文件

vi azkaban.properties
[root@hdp-3 conf]# vi azkaban.properties 
#Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=hdp-3
mysql.database=azkaban
mysql.user=root
mysql.password=lwy092721
mysql.numconnections=100

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=lwy092721
jetty.keypassword=lwy092721
jetty.truststore=keystore
jetty.trustpassword=lwy092721

# Azkaban Executor settings
executor.port=12321

# mail settings
mail.sender=1835023077@qq.com
mail.host=smtp.qq.com
job.failure.email=1835023077@qq.com
job.success.email=1835023077@qq.com

lockdown.create.projects=false

cache.directory=cache
"azkaban.properties" 49L, 1079C written

我修改过:

default.timezone.id=Asia/Shanghai
mysql.host=hdp-3
mysql.password=lwy092721
jetty.password=lwy092721
jetty.keypassword=lwy092721
jetty.trustpassword=lwy092721
mail.sender=1835023077@qq.com
mail.host=smtp.qq.com
mysql.user=root
job.failure.email=1835023077@qq.com
job.success.email=1835023077@qq.com

2、修改azkaban-users.xml文件

vi azkaban-users.xml
<azkaban-users>
        <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
        <user username="metrics" password="metrics" roles="metrics"/>
        
        <user username="admin" password="admin" roles="admin,metrics"/>
        <role name="admin" permissions="ADMIN" />
        <role name="metrics" permissions="METRICS"/>
</azkaban-users>

只添加了****增加管理用户
([root@hdp-3 azkaban-web-2.5.0]#下修改)

bin/azkaban-web-start.sh

报错:

[root@hdp-3 azkaban-web-2.5.0]# bin/azkaban-web-start.sh
-bash: bin/azkaban-web-start.sh: 权限不够

查看 .sh 文件,发现不是可执行文件:

[root@hdp-3 bin]# ll
总用量 16
-rw-r--r--. 1 root root  161 4月  22 2014 azkaban-web-shutdown.sh
-rw-r--r--. 1 root root 1275 4月  22 2014 azkaban-web-start.sh
-rw-r--r--. 1 root root  116 4月  22 2014 schedule2trigger.sh
-rw-r--r--. 1 root root  118 4月  22 2014 start-web.sh

增加可执行权限

chmod +x *.sh

再次查看:

[root@hdp-3 bin]# ll
总用量 16
-rwxr-xr-x. 1 root root  161 4月  22 2014 azkaban-web-shutdown.sh
-rwxr-xr-x. 1 root root 1275 4月  22 2014 azkaban-web-start.sh
-rwxr-xr-x. 1 root root  116 4月  22 2014 schedule2trigger.sh
-rwxr-xr-x. 1 root root  118 4月  22 2014 start-web.sh

查看进程

ps -aux | grep azkaban

启动 web 服务器
在azkaban web服务器目录下执行启动命令

[root@hdp-3 azkaban-web-2.5.0]# bin/azkaban-web-start.sh

这里可能会报一个错误:关于databases,是因为我们的mysql数据库中没有关于azkaban的库
解决办法:
azkaban 启动 web 服务器时报错 unknown database ‘azkaban
启动执行服务器
在执行服务器目录下执行启动命令

[root@hdp-3 azkaban-executor-2.5.0]# bin/azkaban-executor-start.sh

结果:
在这里插入图片描述
验证:
启动完成后,在浏览器(建议使用谷歌浏览器)中输入:
https://服务器IP地址:8443,即可访问 azkaban 服务了。在登录中输入刚才新的户用名及密码,点击 login(名字:admin 密码:admin)
结果:
在这里插入图片描述
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值