StarRocks 日常运维及优化命令

-- StarRocks 常用命令 -------------------------------------

SHOW PROC '/frontends'\G;
SHOW PROC '/backends'\G;
SHOW PROC '/statistic'\G;

--
show broker;
show proc '/brokers';
sh ./bin/start_broker.sh --daemon

systemctl start starrocks_broker.service
systemctl stop  starrocks_broker.service

-- 查看当前集群的作业信息
SHOW PROC '/jobs'\G;
-- 查看当前集群各种任务类型的总数和失败总数
SHOW PROC '/tasks'\G;

sh ./bin/start_fe.sh --daemon
sh ./bin/stop_fe.sh  --daemon

sh ./bin/start_be.sh --daemon
sh ./bin/stop_be.sh  --daemon

-----------------------------------------------

1. show proc '/';         -- 查看当前集群中的特定指标;
   例如： show proc '/auth';
2. show processlist;  -- 用户查看正在运行的线程

-- 查看表大小 --
show data from ods.table_name_order;
-- 显示指定 db 的下指定表所有 tablet 信息 --
show tablet from ods.table_name_order;

-- 查看后端运行进程
1. show processlist;
2. show full processlist;
-- kill 后端进程
kill 20;

------------------------------------------------
-- java udf 内存控制设置
cd /opt/StarRocks-2.3/be/conf/
vim  hadoop_env.sh

# java udf 内存设置12G
export LIBHDFS_OPTS="-Xmx12288m -Xloggc:$STARROCKS_HOME/log/be.gc.log -server"

ps aux | grep starrocks_be
sh bin/start_be.sh --daemon

ods.java_dept

-- 查看UDF 函数
use sys;
show functions;
+---------------+
| Function Name |
+---------------+
| java_dept     |
| java_enpt     |
| mysql_dept    |

------------------------------------------------
-- 查看表信息
SHOW TABLET table_id;

--  load 数据异常查看
curl --location-trusted -u {user}:{passwd} \
  http://{hostname}:{port}/api/{database}/_load_info?label={labelname}

curl --location-trusted -u root:{passwd} \
  http://IP.50:7040/api/qcwy_traffic_ods/_load_info?label=7e92c004-b620-47b8-bf86-40dd4ab64a05
 
以下示例通过 curl 命令查看 Label 为 insert_load_wikipedia 的导入作业状态。

curl --location-trusted -u root: \
  http://x.x.x.x:8030/api/load_test/_load_info?label=insert_load_wikipedia
 
-- 查看日志问题
curl http://IP.50:7040/api/_load_error_log?file=error_log_2720f220b9ab11ed_b83d00163e2098ca  

您可以通过 curl "url" 命令直接查看错误数据行的信息。也可以通过 wget "url" 命令导出错误数据行的信息，如下所示：
wget "url" 命令导出错误数据行的信息;
wget http://IP.50：7040/api/_load_error_log?file=error_log_2720f220b9ab11ed_b83d00163e2098ca;  

------------------------------------------------
-- shell -> vim 单个字母变色
-- 按下Esc键输入:nohl或:set nohlsearch然后回车

---------------------  副本管理 ---------------------------
BE 节点负载
StarRocks 使用 ClusterLoadStatistics（CLS）表示一个集群中各个 BE 的负载均衡情况;
  1. StarRocks 当前通过 磁盘使用率 和 副本数量 两个指标,为每个 BE 计算得出一个 loadScore,作为 BE 的负载分数;
  2. 分数越高,表示该 BE 的负载越重. TabletScheduler 会每隔 1 分钟更新一次 CLS;
磁盘使用率和副本数量各有一个权重系数
  1. 分别为 capacityCoefficient 和 replicaNumCoefficient,其和衡为 1;
  2. 其中 capacityCoefficient 会根据实际磁盘使用率动态调整;
     当一个 BE 的总体磁盘使用率在 50% 以下,则 capacityCoefficient 值为 0.5,
     如果磁盘使用率在 75% 以上,则值为 1;
  3. 通过 FE 配置项 capacity_used_percent_high_water 配置;
     公式为：capacityCoefficient = 2 * 磁盘使用率 - 0.5;
     该权重系数保证当磁盘使用率过高时,该 BE 的负载分数会更高,以使系统尽快降低这个 BE 的负载;

-- FE 参数    
1. capacity_used_percent_high_water  -- 动态配置
   1.1 : 上磁盘使用容量的度量值，超过 0.75 之后;
   1.2 : 尽量不再往这个 tablet 上发送建表,克隆的任务,直到恢复正常;
2. schedule_slot_num_per_path         -- 动态配置
   2.1 : 每块磁盘配置两个 slot 用于副本修复;
   2.2 : slot 数目为零，则不会再对这块磁盘分配任务;
   2.3 : 该 slot 个数可以通过 FE 的 schedule_slot_num_per_path 参数配置;
   此参数使用概述：无论是副本修复还是均衡,都是通过副本在各个 BE 之间拷贝完成的。
                   如果同一台 BE 同一时间执行过多的任务,则会带来较大的 IO 压力;    

-- 查看 FE 节点参数配置信息                   
1. 查看当前 FE 节点的配置,参数是否为动态参数可通过
   ADMIN SHOW CONFIG 返回结果中的 IsMutable 列查看,TRUE 表示动态参数;
   ADMIN SHOW FRONTEND CONFIG;   -- 查看所有参数
2. 使用 like 谓词搜索当前 Fe 节点的配置；
   ADMIN SHOW FRONTEND CONFIG LIKE '%capacity_used_percent_high_water%';   -- 查看具体的参数
3. 配置 FE 动态参数
   ADMIN SET FRONTEND CONFIG ("key" = "value");      -- 这里配置

查看副本调度任务
1. 查看等待被执行的调度任务。
   SHOW PROC '/cluster_balance/pending_tablets';
2. 查看正在运行的调度任务。
   SHOW PROC '/cluster_balance/running_tablets';
3. 查看已结束的调度任务(StarRocks 默认保留最近 1000 个完成的任务);
   SHOW PROC '/cluster_balance/history_tablets';

-- StarRocks(系统参数设置) --
-- 变量设置与查看
1. show variables;
2. show variables like '%time_zone%';
3. 变量一般可以设置为全局生效或仅当前会话生效