帝小辰

MyBatis结构分布sqlMapConfig.xml1.配置数据源2.配置别名标签3.缓存的配置xxxMapper.xml映射文件，主要写sql，映射关系SqlSeesionFactory生成数据库连接SqlSession执行数据库的CRUD项目准备项目结构约束文件：所需文件自己下载(或者在下方留下评论)代码书写sqlMapConfig.xml配置文件<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE

前言：Scala既是面向对象的语言，也是面向函数的语言。Scala简介 Scala即时面向对象的语言，也是面向函数的语言。 Scala可以为你在做大量代码重用和扩展时提供优雅的层次结构。并可以通过高阶函数来实现这样的目标。 解释：高阶函数是函数式编程里的特性之一，允许函数作为参数传递，也允许函数作为返回值来返回。Scala语言的特点 1.他是一门现代编程语言。 2.他是一门面向对象（OOP）语言，每个变量都是一个对象，每个"操作符"都是方法。 （scala语言在

前言：Hadoop是基于Google的集群系统理论来进行的开源实现：Google的集群系统：GFS. MapReduce. BigTable：Hadoop的集群系统：HDFS. MapReduce. Hbase概述 Hadoop设计的初衷是为了解决Nutch的海量数据存储和处理的需求，可以解决大数据场景下的数据存储和处理的问题。一开始HDFS和MapReduce是作为Nutch的两个主件来使用后来发现这两个组件不只是可以用在Nutch搜索，所以就单独取出来组成了Hadopp。注意的是：Ha

前言：是Hadoop中用于数据存储的模块概述 1.Hadopp中用于数据存储的模块 2.在存储数据的时候会将数进行切块，每一个快是一个Block，在Hadoop2.0是128M。 3.HDFS会对数据块

前言 ：HBase是一个分布式的、面向列的开源数据库特点 1.非关系型数据库，可以存储海量数据 2.提供了低延迟的数据查询能力。低延迟指的是能够在秒级甚至毫秒级给出响应 3.面向列存储的数据库。...

前言：开发和维护开源服务器概念：Apache ZooKeeper致力于开发和维护实现高度可靠的分布式协调的开源服务器。 目的：开发和维护开源服务器 干什么：做分布式协调 特点：高度的可靠性诞生过程：ZooKeeper诞生于Yahoo，后转入Apache孵化，最终孵化成Apache的顶级项目，是Hadoop和Hbase的重要组件。作用：ZooKeeper是开源的分布式的协调服务框架，是Apache Hadoop的子件，适用于绝大部分分布式集群的管理（ZooKeeper是一种集中式服务

Hadoop全分布部署：分布式搭建完成后，根据Hadoop两大核心组成，可以通过检测这 HDFS 分布式文件系统和 MapReduce 来完成监测工作 1.初始化集群，使用Hadoop命令启动集群 2.使用Hadoop命令，创建HDFS文件夹 3.使用HDFS命令查看文件系统 “/”路径下是否存在文件 4.调用Hadoop自带的WordCount 程序去测试 MapReduce，查看控制台是否能正确统计单词数量 5.使用 JSP 查看各个节点启动的进程情况，都启动成功说明

页面展示 1.打开网站 http://主机名:8088/cluster/nodes 页面可以查看大数据平台的状态汇总信息。 2.通过界面查看Hadoop状态 （主菜单包括 状态总览，数据节点，挂载失败节点，快照，日记等） http://主机名:50070 （1）Overview（总览），查看 Hadoop 启动时间、版本号、 命名节点日志状态、命名节点存储状态等信息；

常用命令 1.查看Linux系统的信息 uname -a 2.查看硬盘信息 fdisk -l 3.查看所有交换分区 swapon -s 4.查看文件系统占比 df -h 5.查看网络IP地址 ifconfig 6

解压 1.解压 tar zxvf /apache-flume版本所在路径 -C /解压后的位置 2.修改名字 mv /apache-flume版本号 flume 3.修改权限 chown -R hadoop:hadoop flume/ 4.环境配置 （环境配置需要 root 用户操作） vi /etc/profile # set flume envi

安装Sqoop 1.解压 tar -zvxf /sqoop 版本所在位置 -C /解压后位置 2.更改名字 mv /带版本号的Sqoop sqoop 3.配置环境 复制Sqoop-env-template.sh 并重名为 sqoop-env.sh /dxc/sqoop的路径/conf 下 cp sqoop-env-template.sh sqo

操作 1.解压缩 HBase 安装包 tar -zvxf /hbase的安装包路径 -C /解压后的路径 2.重命名为 HBase 安装文件夹 dxc cd /hbase解压后的路径 mv hbase版本号 hbase 3.在所有节点添加环境便变量（三个节点都可以） vi /etc/profile # se

前言： 实践是检验真理的唯一需求前提 1.当前环境已安装Hadoop全分布系统 2.本地安装的有MySQL数据库 3.MySQL的JDBC安装包 4.Hive安装包操作 1.解压安装包 tar -zvxf /安装包的安装路径 -C /解压后的安装路径 2.更改名字（将带版本号的hive 改成hive） mv /解压后hive所在路径 /更改名字后的路径 3.修改归属用户

前言：安装 1.解压缩hadoop安装包 tar -zvxf /hadoop安装包所在位置 -C 解压目的地 2.修改名字（将Hadoop解压后的名字改为 hadoop（他原先的名字后面带有版本号）） mv /原hadoop解压后位置 /更改名后hadoop位置 3.配置环境 dxc vi /etc/profile # set java environment # JAVA_HOME = Java的安装路径

前言： 集群配置需要三台主机集群网络配置：这里第一台主机为我们上一篇博客写到的 dxc 1.修改主机二 hostnamectl set-hostname dxc2（自定义主机二名字） 2.修改主机三 hostnamectl set-hostname dxc3（自定义主机三名字） 3.分别修改各主机配置文件 在第二台主机dxc2中 vi /etc/hosts

前言：： Hadoop 的搭建环境是 CentOS7.4环境搭建linux系统基础 1.查看服务器的 IP 地址 ip address show 2.设置服务器的主机名称 hostnamectl set-hostname dxc 3.查看设置完后的服务器名称（当前的） hostname 4.绑定主机名和IP地址 vi /etc/hosts

Linux（运行系统 CentOS 7.4）linux 常用命令使用命令格式： 命令 选项 文件或者目录 1.pwd : 显示当前所在目录位置 （也就是当你进入了好几级目录下，想知道该目录的完整的路径，则可以使用该命令） 2.ls : 显示目录中文件信息 命令常用选项： -a : 全部文件包括隐藏文件 -l : 长格式显示包含文件和目录的详细信息 -R : 连同子目录内容一起列出来 ll : ls -l 的缩写命令 3.cd

前言我们使用它进行大量数据的存储，以便于日后我们进行大量数据的调用。MySQL的安装你想用数据库，就必须进行安装，具体安装步骤，请打开以下链接，堪称史上最强的安装详解：MySQL 5.x界面安装 - WindowsMySQL的作用？通俗地讲：MySQL的作用就像一个军团，我们将征集的大量“士兵”（数据）先集中到兵营，然后为他们分配兵种，使其有序的明白自己的归属，然后当我们需要他们的时候...

前言： sqoop 是 Apache 提供的工具简介：传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一，有RDBMS（数据库一类）生成的这种大数据存储在关系数据库结构中的关系数据库服务器中；：当大数据存储和Hadoop生态系统的 MapReduce，Hive，HBase，Cassandra,Pig等分析器出现时，他们需要一种工具来与关系数据库服务器进行交互，以导入和导出驻留在其中的大数据，在这里，Sqoop 在 Hadoop 生态系统中占据一席之地，以便在