拖入并解压安装包:azkaban.zip
unzip azkaban.zip
如果没有unzip ,需要下载插件:
yum install unzip
解压完毕我们可以看见 /root/apps/下多了一个文件夹 “share1”:
[root@hdp-3 apps]# ll
总用量 394100
drwxr-xr-x. 8 root root 159 6月 4 2019 apache-hive-1.2.1-bin
-rw-r--r--. 1 root root 23255397 12月 4 16:32 azkaban.zip
-rw-r--r--. 1 root root 91429350 11月 4 08:51 elasticsearch-6.3.1.tar.gz
drwxrwxr-x. 10 root root 161 4月 1 2019 hadoop-2.8.1
drwxr-xr-x. 8 root root 172 6月 4 2019 hbase-1.2.1
drwxr-xr-x. 7 root root 245 4月 1 2019 jdk1.8.0_201
drwxr-xr-x. 7 root root 101 10月 17 09:43 kafka_2.12-2.2.0
-rw-r--r--. 1 root root 57028557 10月 14 10:53 kafka_2.12-2.2.0.tgz
-rw-r--r--. 1 root root 1738465 10月 25 09:22 redis-4.0.10.tar.gz
drwxr-xr-x. 2 root root 108 12月 4 18:29 share1
drwxr-xr-x. 15 root root 235 11月 13 17:46 spark-2.4.4-bin-hadoop2.7
-rw-r--r--. 1 root root 230091034 11月 11 14:11 spark-2.4.4-bin-hadoop2.7.tgz
drwxr-xr-x. 9 1000 1000 4096 12月 19 2017 sqoop-1.4.7.bin__hadoop-2.6.0
drwxr-xr-x. 10 root root 4096 4月 22 2019 zookeeper-3.4.6
为了方便,我们把它改名为azkaban
mv share1/ azkaban
进入azkaban
cd azkaban/
可以看到:
[root@hdp-3 azkaban]# ll
总用量 22716
-rw-r--r--. 1 root root 11150318 9月 12 2018 azkaban-executor-2.5.0.zip
-rw-r--r--. 1 root root 1928 9月 12 2018 azkaban-sql-script-2.5.0.tar.gz
-rw-r--r--. 1 root root 12102703 9月 12 2018 azkaban-web-2.5.0.zip
分别解压这三个压缩包:
unzip azkaban-executor-2.5.0.zip
unzip azkaban-web-2.5.0.zip
tar -zxvf azkaban-sql-script-2.5.0.tar.gz
结果:
[root@hdp-3 share1]# ll
总用量 22720
drwxr-xr-x. 2 root root 4096 12月 4 18:31 azkaban-2.5.0
drwxr-xr-x. 7 root root 92 12月 3 2015 azkaban-executor-2.5.0
-rw-r--r--. 1 root root 11150318 9月 12 2018 azkaban-executor-2.5.0.zip
-rw-r--r--. 1 root root 1928 9月 12 2018 azkaban-sql-script-2.5.0.tar.gz
drwxr-xr-x. 8 root root 103 12月 3 2015 azkaban-web-2.5.0
-rw-r--r--. 1 root root 12102703 9月 12 2018 azkaban-web-2.5.0.zip
如果嫌乱,可以把压缩包删除掉:
[root@hdp-3 share1]# rm -rf azkaban-executor-2.5.0.zip
[root@hdp-3 share1]# rm -rf azkaban-sql-script-2.5.0.tar.gz
[root@hdp-3 share1]# rm -rf azkaban-web-2.5.0.zip
目前 azkaban 只支持 mysql,需安装 mysql 服务器,本文档中默认已安装好 mysql 服务器,并建立了 root用户,密码 lwy092721
生成 keystore 的密码及相应信息
[root@hdp-3 ~]# keytool -keystore keystore -alias jetty -genkey -key
输入密钥库口令:
再次输入新口令:
您的名字与姓氏是什么?
[Unknown]: livia
您的组织单位名称是什么?
[Unknown]: zpark
您的组织名称是什么?
[Unknown]: zk^Hp
您所在的城市或区域名称是什么?
[Unknown]: beijing
您所在的省/市/自治区名称是什么?
[Unknown]: neimeng
该单位的双字母国家/地区代码是什么?
[Unknown]: ZG
CN=livia, OU=zpark, O=zp, L=beijing, ST=neimeng, C=ZG是否正确?
[否]: y
输入 <jetty> 的密钥口令
(如果和密钥库口令相同, 按回车):
再次输入新口令:
Warning:
JKS 密钥库使用专用格式。建议使用 "keytool -importkeystore -srckeystore keystore -destkeystore keystore -deststoretype pkcs12" 迁移到行业标准格式 PKCS12。
将 keystore 拷贝到 azkaban web 服务器根目录中
mv keystore /root/apps/azkaban/azkaban-web-2.5.0/
时间同步配置
先配置好服务器节点上的时区
如果在 /usr/share/zoneinfo/ 这个目录下不存在时区配置文件 Asia/Shanghai,就要用 tzselect 生成。
[root@hdp-3 azkaban-web-2.5.0]# tzselect
Please identify a location so that time zone rules can be set correctly.
Please select a continent or ocean.
1) Africa
2) Americas
3) Antarctica
4) Arctic Ocean
5) Asia
6) Atlantic Ocean
7) Australia
8) Europe
9) Indian Ocean
10) Pacific Ocean
11) none - I want to specify the time zone using the Posix TZ format.
#? 5
Please select a country.
1) Afghanistan 18) Israel 35) Palestine
2) Armenia 19) Japan 36) Philippines
3) Azerbaijan 20) Jordan 37) Qatar
4) Bahrain 21) Kazakhstan 38) Russia
5) Bangladesh 22) Korea (North) 39) Saudi Arabia
6) Bhutan 23) Korea (South) 40) Singapore
7) Brunei 24) Kuwait 41) Sri Lanka
8) Cambodia 25) Kyrgyzstan 42) Syria
9) China 26) Laos 43) Taiwan
10) Cyprus 27) Lebanon 44) Tajikistan
11) East Timor 28) Macau 45) Thailand
12) Georgia 29) Malaysia 46) Turkmenistan
13) Hong Kong 30) Mongolia 47) United Arab Emirates
14) India 31) Myanmar (Burma) 48) Uzbekistan
15) Indonesia 32) Nepal 49) Vietnam
16) Iran 33) Oman 50) Yemen
17) Iraq 34) Pakistan
#? 9
Please select one of the following time zone regions.
1) Beijing Time
2) Xinjiang Time
#? 1
The following information has been given:
China
Beijing Time
Therefore TZ='Asia/Shanghai' will be used.
Local time is now: Wed Dec 4 19:00:49 CST 2019.
Universal Time is now: Wed Dec 4 11:00:49 UTC 2019.
Is the above information OK?
1) Yes
2) No
#? 1
You can make this change permanent for yourself by appending the line
TZ='Asia/Shanghai'; export TZ
to the file '.profile' in your home directory; then log out and log in again.
Here is that TZ value again, this time on standard output so that you
can use the /usr/bin/tzselect command in shell scripts:
Asia/Shanghai
拷贝该时区文件,覆盖系统本地时区配置
[root@hdp-3 azkaban-web-2.5.0]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
集群时间同步
sudo date -s ‘2017-06-14 09:23:45’
hwclock -w
修改配置
([root@hdp-3 azkaban-web-2.5.0]# 下修改):
1、azkaban.properties文件
vi azkaban.properties
[root@hdp-3 conf]# vi azkaban.properties
#Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
database.type=mysql
mysql.port=3306
mysql.host=hdp-3
mysql.database=azkaban
mysql.user=root
mysql.password=lwy092721
mysql.numconnections=100
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=lwy092721
jetty.keypassword=lwy092721
jetty.truststore=keystore
jetty.trustpassword=lwy092721
# Azkaban Executor settings
executor.port=12321
# mail settings
mail.sender=1835023077@qq.com
mail.host=smtp.qq.com
job.failure.email=1835023077@qq.com
job.success.email=1835023077@qq.com
lockdown.create.projects=false
cache.directory=cache
"azkaban.properties" 49L, 1079C written
我修改过:
default.timezone.id=Asia/Shanghai
mysql.host=hdp-3
mysql.password=lwy092721
jetty.password=lwy092721
jetty.keypassword=lwy092721
jetty.trustpassword=lwy092721
mail.sender=1835023077@qq.com
mail.host=smtp.qq.com
mysql.user=root
job.failure.email=1835023077@qq.com
job.success.email=1835023077@qq.com
2、修改azkaban-users.xml文件
vi azkaban-users.xml
<azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
<user username="metrics" password="metrics" roles="metrics"/>
<user username="admin" password="admin" roles="admin,metrics"/>
<role name="admin" permissions="ADMIN" />
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
只添加了****增加管理用户
([root@hdp-3 azkaban-web-2.5.0]#下修改)
bin/azkaban-web-start.sh
报错:
[root@hdp-3 azkaban-web-2.5.0]# bin/azkaban-web-start.sh
-bash: bin/azkaban-web-start.sh: 权限不够
查看 .sh 文件,发现不是可执行文件:
[root@hdp-3 bin]# ll
总用量 16
-rw-r--r--. 1 root root 161 4月 22 2014 azkaban-web-shutdown.sh
-rw-r--r--. 1 root root 1275 4月 22 2014 azkaban-web-start.sh
-rw-r--r--. 1 root root 116 4月 22 2014 schedule2trigger.sh
-rw-r--r--. 1 root root 118 4月 22 2014 start-web.sh
增加可执行权限
chmod +x *.sh
再次查看:
[root@hdp-3 bin]# ll
总用量 16
-rwxr-xr-x. 1 root root 161 4月 22 2014 azkaban-web-shutdown.sh
-rwxr-xr-x. 1 root root 1275 4月 22 2014 azkaban-web-start.sh
-rwxr-xr-x. 1 root root 116 4月 22 2014 schedule2trigger.sh
-rwxr-xr-x. 1 root root 118 4月 22 2014 start-web.sh
查看进程
ps -aux | grep azkaban
启动 web 服务器
在azkaban web服务器目录下执行启动命令
[root@hdp-3 azkaban-web-2.5.0]# bin/azkaban-web-start.sh
这里可能会报一个错误:关于databases,是因为我们的mysql数据库中没有关于azkaban的库
解决办法:
azkaban 启动 web 服务器时报错 unknown database ‘azkaban
启动执行服务器
在执行服务器目录下执行启动命令
[root@hdp-3 azkaban-executor-2.5.0]# bin/azkaban-executor-start.sh
结果:
验证:
启动完成后,在浏览器(建议使用谷歌浏览器)中输入:
https://服务器IP地址:8443,即可访问 azkaban 服务了。在登录中输入刚才新的户用名及密码,点击 login(名字:admin 密码:admin)
结果: