Apache Doris 软件部署(2.1.7版本)

软件介绍：Apache Doris介绍_rust apache doris-CSDN博客

一、软件依赖环境配置

1、检查软硬件环境

cat /proc/cpuinfo | grep avx2 

如果没有返回，则不支持avx2，后续下载包有影响

2、设置系统最大打开文件句柄数

vi /etc/security/limits.conf

添加如下内容

* soft nofile 1000000
* hard nofile 1000000

配置文件修改完成后输入 ulimit -n 1000000 执行修改，再次输入ulimit -n检查修改是否生效 

3、修改虚拟内存区域数量

修改虚拟内存区域至少2000000

编辑/etc/sysctl.conf

vi /etc/sysctl.conf

添加如下内容

vm.max_map_count=2000000

使修改生效：

sysctl -p

FAQ:如果此处不修改，则后续再启动BE的时候可以通过如下命令进行临时修改

sysctl -w vm.max_map_count=2000000

注意服务器本身至少4G内存，doris比较消耗内存，要不然插入数据会报内存不足 

4、 关闭透明大页

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
 
--加入开机启动
echo '
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag'>>/etc/rc.local
chmod +x /etc/rc.local

5、关闭swap分区

编辑/etc/fstab 注释掉带swap分区

vim /etc/fstab 

swapoff -a

6、安装javajdk

参考：Linux环境下Java JDK环境安装_java jdk linux-CSDN博客

7、安装mysql

参考：Linux环境下部署MySQL8数据库_mysql8 linux-CSDN博客

二、软件下载与环境变量配置

8、软件下载

Apache Doris - Download | Easily deploy Doris anywhere - Apache Doris

检查

cat /proc/cpuinfo | grep avx2  

如果有返回值，则是支持avx2,如果没有返回值则需要下载no avx2 

cd /usr/local/soft/

支持avx2命令如下：

wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.1.7-bin-x64.tar.gz

不支持命令如下

wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.1.7-bin-x64-noavx2.tar.gz

9、软件解压

解压：

tar -zxvf apache-doris-2.1.7-bin-x64.tar.gz
mv apache-doris-2.1.7-bin-x64 doris

或 

tar -zxvf apache-doris-2.1.7-bin-x64-noavx2.tar.gz
mv apache-doris-2.1.7-bin-x64-noavx2 doris

10、环境变量添加

编辑环境变量

vi /etc/profile

添加如下内容 

export DORIS_HOME=/usr/local/soft/doris
export PATH=$PATH:$DORIS_HOME/be/bin
export PATH=$PATH:$DORIS_HOME/fe/bin

使环境变量生效 

source /etc/profile

三、FE配置和启动

11、修改fe配置参数

编辑fe.conf文件

vi /usr/local/soft/doris/fe/conf/fe.conf

50行修改

meta_dir = /usr/local/soft/doris/fe/doris-meta

66行修改如下

priority_networks = 192.168.1.100/24

12、启动fe 

start_fe.sh --daemon

13、验证fe

jps进程查看

jps

浏览器输入：http://192.168.1.100:8030/

用户名root  密码为空，点击登陆

四、BE配置和启动

14、修改be配置参数

编辑be.conf文件

vi /usr/local/soft/doris/be/conf/be.conf

33行修改如下

JAVA_HOME=/usr/local/soft/jdk1.8.0_11/

60行修改如下

priority_networks = 192.168.1.100/24

73行修改如下

storage_root_path = /usr/local/soft/doris/be/storage

15、启动be

start_be.sh --daemon

16、验证be

jps查看进程

jps

浏览器输入：http://192.168.1.100:8060/

五、FE管理BE配置

以上FE与BE配置后并没有关联，而且没办法同时启动，可通过如下配置使得两者关联

17、客户端连接FE 

使用mysql client进入FE 

mysql -uroot -P 9030 -h 127.0.0.1

注意：此处不是7步骤部署的mysql数据库，而是通过mysql客户端连接doris

其中 root 为默认账户，密码为空
9030 代表端口号，不是mysql的3306，其值等于fe配置文件(fe.conf)中的 query_port 参数，
127.0.0.1 代表FE所在服务器ip地址 

这里使用的 root 用户是 Doris 内置的超级管理员用户，具体的用户权限查看 认证和鉴权
-P：这里是我们连接 Doris 的查询端口，默认端口是 9030，对应的是 fe.conf 里的 query_port
-h：这里是我们连接的 FE IP 地址，如果你的客户端和 FE 安装在同一个节点可以使用 127.0.0.1

18、查看FE连接状态

show frontends\G

19、添加BE 

ALTER SYSTEM ADD BACKEND "192.168.1.100:9050";

注：如果是集群，可添加多个BE 

FAQ:如果添加多了或者写错错误，可通过如下命令删除（慎重） 

ALTER SYSTEM DROPP BACKEND "192.168.1.100:9050"

20、检查BE是否连接成功

SHOW BACKENDS\G

也可通过web查看

六、数据库简单使用

使用mysql连接doris数据库

mysql -uroot -P 9030 -h 127.0.0.1

创建数据库、切换、创建表、插入数据 

create database demo;
use demo;
CREATE TABLE IF NOT EXISTS demo.test_table(
    `line1` INT COMMENT "1",
    `line2` INT COMMENT "2",
    `line3` INT COMMENT "3",
)
AGGREGATE KEY(`line1`,  `line2`, `line3`)
DISTRIBUTED BY HASH(`line1`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);
insert into test_table (line1,line2,line3) values (11,21,31),(12,22,32),(31,32,33);

web中查看

FAQ

1、如果“FE管理BE配置”配置完后进程无法正常运行

解决方案：重新启动FE和BE

2、插入数据库数据的时候出现“
ERROR 1105 (HY000): errCode = 2, detailMessage = (192.168.1.100)[CANCELLED]Process memory not enough, cancel top memory used load: <Load#Id=8740c95dff644668-84d0cec6d45c2140> consumption 4.19 KB, backend 192.168.1.100, process memory used 523.40 MB exceed limit 2.48 GB or sys available memory 140.96 MB less than low water mark 141.36 MB. Execute again after enough memory, details see be.INFO.
”

解决方案：增大操作系统内存，至少4G

参考：

ApacheDoris数据库单机部署流程(小白向)_doris部署单机部署-CSDN博客

【大数据系列】一、Apache Doris集群部署-CSDN博客

Doris单点部署_apache doris 通常建议 10 ~ 100 台左右的机器-CSDN博客

Apache Doris单机快速安装（已踩坑）_apache_core815-开放原子开发者工作坊