- 博客(98)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【ElasticSearch】ES中显示打开文件数过多问题解决
最近公司一个项目es集群连续出现多次打开文件数过多。跟老大讨论并且一起百度翻了翻相关资料。我们的句柄数已经调到1048576，但是还是一直出现该问题，所以我们考虑es为何会打开如此多文件数。下面是搜索的一些信息：造成打开文件过多的问题的思路并非局限在limit配置。官网有如下描述：由于自动刷新流程每秒会创建一个新的段，这样会导致短时间内的段数量暴增。而段数目太多会带来较大的麻烦。 每一个段都会消耗文件句柄、内存和cpu运行周期。更重要的是，每个搜索请求都必须轮流检查每个段；所以段越多，搜索也就慢。
2021-04-27 15:27:09
3420
原创 【MySQL】加库名及创建账户密码
例:1.库名bigdata 账户bigdata 密码bigdata20202.先在Navicat数据库中(新建立库名bigdata)3.库名bigdata,字符集 UTF-8,规则utf8_general_ci4.创建刷新后会在库中见到，接下来新建用户主机名:bigdata,主机:%（也可以复制主机在里面修改名字和权限）密码:bigdata20205.添加权限...
2021-04-26 14:56:34
621
原创 webftp开通账号流程
Webftp账号开通流程1.登录认证用户可登陆不同的应用，设置独立的密码。如果忘记密码，可以使用 vpn 系统强制更新 相关应用密码。3.注册成功后，安装vpn客户端4.安装完成后，选择导入配置文件，选择office.ovpn5.输入vpn账户及密码登录vpn，访问6.用户管理7.新建用户...
2021-04-13 09:10:41
394
原创 阿里云证书过期问题
1.打开阿里云网站2.搜索免费证书，按步骤选择相应的选项提交订单，申请免费证书3.免费证书4.(1)下载服务器所配的压缩包，同时放在 /home/web/data/.well-known/pki-validation 的 fileauth.txt文件夹 (2)打开负载均衡(3)将证书hppems码输入进去点击证书>重启>同步5.访问http地址，出现字符串6.访问https地址，出画面okhttps://xxx.xxx.xxx.xxx:xxx/well-kno
2021-03-23 00:34:58
1001
原创 Teleport堡垒机创建账号流程
创建用户流程1.用户–>用户管理2.创建用户–>选择角色3.运维人员–>账号4.资产–>主机及账号–>添加主机5.远程主机系统（选择windows远程&linux虚加粗样式拟机）–>远程主机地址和名称统一IP地址6.操作–>管理远程账号–>添加账号7.选择协议选择SSH & RDP 图示8.运维–>运维授权–>新建授权策略添加新建账号–>添加远程账号即可在页面上访问...
2021-03-11 15:59:18
1189
2
原创 Teleport堡垒机
一、Teleport介绍Teleport是触维软件推出的一款简单易用的堡垒机系统，具有小巧、易用、易于集成的特点，支持RDP和SSH协议的跳转。Teleport由两大部分构成：Teleport跳板核心服务WEB操作界面Teleport非常小巧且极易安装部署：仅需一分钟，就可以安装部署一套您自己的堡垒机系统！！支持的操作系统Teleport支持部署到Linux系统中，目前支持的系统版本如下：Ubuntu 14.04 64位 及以上版本CentOS 6.2 64位 及以上版本Debia
2021-03-11 14:45:14
883
原创 jmeter+ant配置
在linux环境下，使用jmeter做接口自动化，做好了前两步的准备工作后，怎能少了主角jmeter+ant了，今天就来说下jmeter+ant的配置方式。*1*|***0***jmeter配置jmeter下载地址：http://jmeter.apache.org/download_jmeter.cgi*1*|***1***安装步骤1.通过xftp上传jmeter安装包到linux中2.解压zip包，命令unzip filename.zip 解压到当前目录3.给jmeter.sh 赋权 ，进到解
2021-02-25 14:48:36
856
原创 Vbox无法连接Xshell问题
VBOX虚拟机连接xshell在网卡和ip地址设置成功出现Could not connect to ‘192.168.1.102’ (port 22): Connection failed.1.检查防火墙是否关闭systemctl stop firewalld2.os7自带ssh 所以不存在下载ssh问题3.重启服务后service network restart4检查外网地址后发现能ping通[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8sHtmCl7-1
2021-01-27 01:02:08
307
原创 【Docker】安装mysql 8 并配置远程连接
第一步：下载mysql镜像镜像 docker pull mysql默认是下载最新稳定版第二步：启动mysql镜像docker run --name dockermysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=mysqlpassword -d mysql–name 是镜像的别名-p 将3306映射到3306（docker是个虚拟机有自己的端口）-e MYSQL_ROOT_PASSWORD=mysqlpassword 设置mysql 服务器密码（后面需要
2020-10-22 13:50:34
587
原创 【Docker】 安装
1. 前提说明目前，Centos 仅发行版本中的内核支持 Docker。Docker 运行在 Centos-7 上，要求系统为64位、系统内核版本位3.10以上。Docker 运行在 Centos-6.5 或更高的版本，要求系统为64位、系统内核版本位2.6.32-431 或者更高版本2. 查看系统版本命令[root@docker ~]# uname -r3.10.0-957.el7.x86_64[root@docker ~]# cat /etc/redhat-release CentO
2020-10-22 13:48:19
244
原创 【Zabbix】Centos7部署zabbix监控系统
zabbix监控系统什么是zabbix监控系统？zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成，zabbix server与可选组件zabbix agent。对于运维人员来说，监控是非常重要的，因为如果想要保证线上业务整体能够稳定运行，那么我们则需要实时关注与其相关的各项指标是否正常，而一个业务系统的背后
2020-10-22 13:41:57
311
原创 【MySQL】实战中，Insert语句的使用心得总结
一、Insert的几种语法1-1.普通插入语句INSERT INTO table (`a`, `b`, `c`, ……) VALUES ('a', 'b', 'c', ……);这里不再赘述，注意顺序即可，不建议小伙伴们去掉前面括号的内容，别问为什么，容易被同事骂。1-2.插入或更新如果我们希望插入一条新记录（INSERT），但如果记录已经存在，就更新该记录，此时，可以使用"INSERT INTO … ON DUPLICATE KEY UPDATE …"语句：情景示例：这张表存了用户历史充值
2020-10-16 15:02:02
584
原创 【Docker】搭建web服务
Docker 是 2014 年最为火爆的技术之一，几乎所有的 程序员都听说过它。Docker 是一种“轻量级”容器技术，它几乎动摇了传统虚拟化技术的地位，现在国内外已经有越来越多的公司开始逐步使用 Docker 来替换现有的虚拟化平台了。作为一名 Java 程序员，我们是时候一起把 Docker 学起来了！本文会对虚拟化技术与 Docker 容器技术做一个对比，然后引出一些 Docker 的名词术语，比如：容器、镜像等，随后将使用 Docker 搭建一个 Java Web 运行环境，最后将对本文做一个总结
2020-10-15 15:52:09
350
原创 【Vertica】数据库的备份和恢复
Backing Up and Restoring the DatabaseHP Vertica支持一个综合的应用，vbr.pyPython script，它的功能包括：back up, restore, list backups,把数据库复制到其他集群。备份支持object-levelbackups，备份用户和表。对于全库，可以创建全量或者增量的备份。如果存在一个全量的备份，我们可以恢复全库，也可以恢复一个或者多个数据库对象。使用vbr.py备份集支持的保存位置：A. 本地目录（the nodes i
2020-10-13 15:58:51
1998
原创 【Nginx】利用Nginx实现负载均衡
1、安装nginx和tomcat我这里是使用docker安装的。这里安装了两个tomcat，端口分别是42000和42001。第二个tomcat的首页随便加了些代码区分2、nginx配置\#这里的域名要和下面proxy_pass的一样upstream fengzp.com { server 192.168.99.100:42000 weight=1; server 192.168.99.100:42001 weight=2; }
2020-10-10 14:13:34
240
原创 【MySQL】ALTER TABLE 语句
ALTER TABLE 语句ALTER TABLE 语句用于在已有的表中添加、修改或删除列。SQL ALTER TABLE 语法如需在表中添加列，请使用下列语法:ALTER TABLE table_nameADD column_name datatype要删除表中的列，请使用下列语法：ALTER TABLE table_name DROP COLUMN column_name注释： 某些数据库系统不允许这种在数据库表中删除列的方式 (DROP COLUMN column_name)。
2020-09-10 15:20:36
2166
原创 【Spark】之RDD & DataSet & DataFrame转换
前面已经给大家说过RDD、DataSet、DataFrame三者之间的关系以及区别，各自都有各自的优劣。RDD、DataFrame、Dataset三者有许多共性，有各自适用的场景常常需要在三者之间转换。今天就给大家说说他们直接按的无缝转换。DataFrame/Dataset转RDD这个转换很简单，只需要在类型的后面.rdd就可以转换成RDD。如何创建DataFrame/Dataset的方法在前面已经说过在这里就不多说了。val createDS = spark.createDataset(1 to
2020-08-28 14:35:34
867
原创 【Python】详解&开发环境安装教程
Python简介Python相信很多人都听说过，也大多都知道Python究竟是什么，其实也不难理解，简单的说，Python是一种跨平台的计算机程序设计语言。 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python在设计上坚持了清晰划一的风格，这使得Python成为一门易读、易维护，并且被大量用户所欢迎的、用途广泛的语言。Python的作者有意的设计限制性很强的语法，
2020-08-28 14:33:43
446
原创 【Python】 Python连接Mysql进行增删改查
就像Java连MySQL需要加载jdbc驱动一样，python的标准数据接口Python DB-API为开发人员提供了数据库应用编程接口，可以支持很多种数据库，今天我们以mysql为例来介绍python如何操作数据库。你可以访问 Python数据库接口及API查看详细的支持数据库列表。不同的数据库需要下载不同的DB API模块，例如你需要访问Oracle数据库和Mysql数据，你需要下载Oracle和MySQL数据库模块。DB-API 是一个规范. 它定义了一系列必须的对象和数据库存取方式, 以便为各
2020-08-28 14:32:55
295
原创 【Spark】DataFrame执行SQL查询&全局表部份表
利用sql进行查询,SparkSession提供了直接执行sql查询的接口，其步骤为注册临时表，然后进行sql查询package sparksqlimport org.apache.spark.sql.SparkSessionobject SparkSqltest1 { def main(args: Array[String]): Unit = { //创建sparksession val sparkSession=SparkSession.builder().app
2020-08-28 09:38:37
712
原创 【Spark】创建sparkSession&DataFrame基本操作
概述sparkSession对象不仅为用户提供了创建dataframe对象、读取外部数据源并且转化为dataframe对象以及执行sql的api，改负担着记录用户希望spark应用如何在spark集群运行的控制调试参数，是sparksql的上下文环境，是运行的基础1.创建sparkSessionpackage sparksqlimport org.apache.spark.sql.SparkSessionobject SparkSqltest1 { def main(args: Arra
2020-08-27 14:43:25
2410
原创 【Spark】Spark 与 Hadoop MR 之间的区别
首先Spark是借鉴了mapreduce并在其基础上发展起来的，继承了其分布式计算的优点并改进了mapreduce明显的缺陷，但是二者也有不少的差异具体如下：1、spark把运算的中间数据存放在内存，迭代计算效率更高；mapreduce的中间结果需要落地，需要保存到磁盘，这样必然会有磁盘io操做，影响性能。2、spark容错性高，它通过弹性分布式数据集RDD来实现高效容错，RDD是一组分布式的存储在节点内存中的只读性质的数据集，这些集合是弹性的，某一部分丢失或者出错，可以通过整个数据集的计算流程
2020-08-27 13:41:21
424
原创 【Scala】基础之变量&数据类型
一、Scala变量使用说明变量声明基本语法var | val 变量名 [: 变量类型] = 变量值1注意事项声明变量时，类型可以省略（编译器自动推导,即类型推导）类型确定后，就不能修改，说明Scala 是强数据类型语言在声明/定义一个变量时，可以使用var 或者 val 来修饰， var 修饰的变量可改变，val 修饰的变量不可改val修饰的变量在编译后，等同于加上final， 通过反编译看下底层代码var 修饰的对象引用可以改变，val 修饰的则不可改变，但对象的状态(值)却是可以改
2020-08-27 13:24:13
293
原创 【ElasticSearch】分布式安装&集群部署（6.2.2）版本
文章目录前言一、安装nodejs二、安装elasticsearch三、安装elasticsearch-head监控elasticsearch集群环境四、Kibana部署安装前言ELK是三个开源软件的缩写，分别表示：Elasticsearch 、Logstash、Kibana。作为大数据入门的基本功，让我们在虚拟机上对以上三个软件进行安装，小伙伴们平时还需要多加练习。Elasticsearch：是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，
2020-08-27 11:14:37
545
原创 【Scala】基础之集合&序列操作大全
一、前言数组是一种可变的、可索引的数据集合。在Scala中用Array[T]的形式来表示Java中的数组形式 T[]。val numbers = Array(1, 2, 3, 4) //声明一个数组对象val first = numbers(0) // 读取第一个元素numbers(3) = 100 // 替换第四个元素为100val biggerNumbers = numbers.map(_ * 2) // 所有元素乘21234二、集合操作Scala提供了大量的集合操作：def ++
2020-08-27 10:54:59
902
原创 【Scala】简述&安装环境部署
文章目录一、why is Scala语言?二、Scala语言的特点三、Windows下搭建Scala开发环境四、配置 IDEA五、Scala语言快速开发入门一、why is Scala语言?Spark—新一代内存级大数据计算框架，是大数据的重要内容。Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言。Scala 是 Scalable Language 的简写，是一门多范式(范式/编程方式[面向对象/函数式编程])的编程语言联邦理工学
2020-08-27 10:54:37
682
1
原创 【Linux】Oracle VM VirtualBox 安装CentOS7操作系统
安装好Oracle VM VirtualBox 后点击新建2.内存大小选择：根据自己机器内存分配，分配过少虚拟机卡，分配过多主机卡。3.创建下一步下一步给虚拟机分配硬盘创建之后设置选择CentOS镜像文件全部设置之后启动虚拟机选择第一个进入虚拟机后会捕获鼠标，按右边Ctrl退出语言选择 中文可能出现乱码 尽量选择中文点击右下角继续这两处需要配置第一个是安装位置第二个是网络和主机名点击Done开启网络跳转下一界面 设置密码。用户可以选择..
2020-08-27 10:32:22
357
原创 【Java】 IDEA打war包方式
前言：IDEA导出war包的方式与MyEclipse有一点不同，使笔者在使用的时候有点困惑，在网上查阅相关资料的时候，发现其描述十分不清晰，于是就有了这篇随笔的诞生。话不多说，直接进入正题。注：IDEA版本14.1.71.进入项目的Project Structure界面，进行如下4步操作2.通过上述4步操作后，进入如下界面注：1.修改war包的名称（根据实际情况）；2.如果出现WEB-INF文件夹则删除，否则不做操作；3.创建META-INF文件（必须）。3.选择如下的路径创建META-IN
2020-08-27 10:14:55
3123
原创 【Redis】简介
目录# Redis简介[# 安装](https://blog.csdn.net/weixin_39407066/article/details/107447707?ops_request_misc=%7B%22request%5Fid%22%3A%22159822486119195188312616%22%2C%22scm%22%3A%2220140713.130102334…%22%7D&request_id=159822486119195188312616&biz_id=0&
2020-08-24 15:31:04
861
原创 【Openwrt】防火墙IP加入黑名单步骤
Network(网络)–>Firewall(防火墙)—>Custom Rules(自定义) ---->save(保存)保存加黑ipServices(服务)----syncdata(同步) ----Save&Apply(保存应用)保存并同步数据----去另一台机器查看加黑ip是否被同步成功...
2020-08-20 17:24:31
9776
原创 【Linux】CP&SCP的说明及其区别
1) 说明cp：是在同一个linux系统上，在不同的目录之间复制文件；scp：是在不同linux系统之间来回复制文件；2 ) cp 用法2-1）单个文件复制：cp 源文件 目标路径 ~~从原路径复制源文件到目标路径下；如果在目标路劲之后加文件名称和格式意思就是复制过去之后将该文件重命名。2.2）多个文件复制：cp 源文件1 源文件2 源文件3 … 目标路径 ~~从原路径复制源文件到目标路径下；3 ) cp 的参数详解-a 尽可能将源文件状态、权限等资料都照原装予以复制，并且是递归co
2020-08-20 16:39:11
1380
原创 【Linux】必备故障及原因50个
一. 文件和目录类 > - File exist 文件已经存在 > - No such file or directory 没有这个文件或目录(这个东西不存在) > - command not found 命令找不到(没有这个命令) > - invalid option 无效的参数(不可用的参数) > - overwrite 覆盖 > - remove regular empty file 是否删除普通文件(空的)? > - is ...
2020-08-20 15:56:24
1819
原创 【Linux】必备故障及原因50个
一. 文件和目录类File exist 文件已经存在No such file or directory 没有这个文件或目录(这个东西不存在)command not found 命令找不到(没有这个命令)invalid option 无效的参数(不可用的参数)overwrite 覆盖remove regular empty file 是否删除普通文件(空的)?is a directory xxx是一个目录descend into directory 是否进入目录Invalid l.
2020-08-20 15:50:10
2651
原创 【ElasticSearch】ES中迁移(导出)文件步骤
ES文件导出到本地流程：1)elasticdump --input=http://192.168.169.103:9200/trace_unit_mn_20191118 --output=/home/web/tmp/trace_unit_mn_20191118.analyzer --type=analyzer2)elasticdump --input=http://192.168.169.103:9200/trace_unit_mn_20191118 --output=/home/web/tmp
2020-08-19 19:28:48
2290
原创 【Linux】常用命令大全2
1）常用指令ls 显示文件或目录-l 列出文件详细信息l(list)-a 列出当前目录下所有文件及目录，包括隐藏的a(all)mkdir 创建目录-p 创建目录，若无父目录，则创建p(parent)cd 切换目录touch 创建空文件echo 创建带有内容的文件。cat 查看文件内容cp 拷贝mv 移动或重命名rm 删除文件-r
2020-08-18 14:37:27
162
原创 【Linux】常用命令大全
日常使用命令开关机命令1、shutdown –h now：立刻进行关机 2、shutdown –r now：现在重新启动计算机 3、reboot：现在重新启动计算机 4、su -：切换用户；passwd：修改用户密码 5、logout：用户注销1234567常用快捷命令1、tab = 补全 2、ctrl + l -：清屏，类似clear命令 3、ctrl + r -：查找历史命令（history）；ctrl+c = 终止 4、ct
2020-08-18 14:24:01
746
原创 【MySQL】Update 语句
SQL UPDATE 语句UPDATE 语句用于更新表中的记录。SQL UPDATE 语句UPDATE 语句用于更新表中已存在的记录。SQL UPDATE 语法UPDATE table_nameSET column1=value1,column2=value2,...WHERE some_column=some_value;123演示数据库在本教程中，我们将使用 RUNOOB 样本数据库。下面是选自 “Websites” 表的数据：+----+--------------+----
2020-08-12 23:03:19
19143
原创 【MySQL】 insert into语句几种方式
MySQL中添加或插入语句(Insert)的几种使用方式1.INSERT 简写方式插入数据(不推荐)1.先看一下表中有那些数据2.*使用Inset into 表名 values(值1,值2)进行插入,并对查看插入数据是否成功* 注意:insert这种简写的方式虽然非常简单,但是Values后面的值必须和表中的类顺序对应,且类型要保持一直,即使表中某一个列不需要值也必须赋值为null,比如我们的主键id设置的是递增实际上是不用设置值的,但是使用这种方式必须赋值为null 不推荐的原因
2020-08-12 15:26:36
70123
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人