datax导入hive动态分区

最新推荐文章于 2025-06-14 19:04:06 发布
最新推荐文章于 2025-06-14 19:04:06 发布
阅读量8.9k 收藏 13
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42784606/article/details/108430296
本文详细介绍了如何在Hive中配置动态分区，包括设置动态分区参数、创建分区表及插入数据的方法。同时，提供了使用DataX进行数据导入的例子，并讨论了HdfsWriter的功能限制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

配置hive支持动态分区
  <property>
    <name>hive.exec.dynamic.partition</name>
    <value>true</value>
    <description>Whether or not to allow dynamic partitions in DML/DDL.</description>
  </property>
  <property>
    <name>hive.exec.max.dynamic.partitions</name>
    <value>10000</value>
    <description>Maximum number of dynamic partitions allowed to be created in total.</description>
  </property>
  <property>
    <name>hive.exec.max.dynamic.partitions.pernode</name>
    <value>10000</value>
    <description>Maximum number of dynamic partitions allowed to be created in each mapper/reducer node.</description>
  </property>
  <property>
    <name>hive.exec.dynamic.partition.mode</name>
    <value>nonstrict</value>
    #开启允许所有分区都是动态的，否则必须要有静态分区才能使用。
    <description>
      In strict mode, the user must specify at least one static partition
      in case the user accidentally overwrites all partitions.
      In nonstrict mode all partitions are allowed to be dynamic.
    </description>
  </property>
ddl语句创建分区表
CREATE TABLE IF NOT EXISTS `test_p` (
  `id` int COMMENT 'date in file', 
  `name` string COMMENT 'appname' )
COMMENT 'cleared log of origin log'
PARTITIONED BY (
  `ct`  string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
STORED AS ORC
TBLPROPERTIES ('creator'='c-chenjc', 'crate_time'='2018-06-07')
;


CREATE TABLE IF NOT EXISTS `my_test_p` (
  `id` int COMMENT 'date in file', 
  `name` string COMMENT 'appname' ,
  `ct`  string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
STORED AS ORC
TBLPROPERTIES ('creator'='c-chenjc', 'crate_time'='2018-06-07')
;
准备数据

指定表中行数据信息
ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ LINES TERMINATED BY ‘\n’

  • ROW FORMAT
  • TERMINATED BY ‘\t’ 每行数据中字段的分隔符
  • LINES TERMINATED BY ‘\n’ 行的分隔符，不指定的时候默认为‘\n’

所以测试数据格式

123,me1,hangzhou
245,peter,beijing
789,alice,shanghai
201,mark,guangzhou
222,mawww,guangzhou
2222,aliuc,beijing
loadl示例
load data local inpath '/app/bigdata/apache-hive-2.3.7-bin/data/testdatact' into table my_test_p;

(partition(dt='20200717'))有静态分区就要加这个

查看结果
hive> select * from my_test_P;
OK
123	me1	hangzhou
245	peter	beijing
789	alice	shanghai
201	mark	guangzhou
222	mawww	guangzhou
2222	aliuc	beijing
Time taken: 1.837 seconds, Fetched: 6 row(s)
hive>
Insert示例

insert overwrite table test_p partition(ct) select id ,name,ct from my_test_p;

要点：因为dpartition表中只有两个字段，所以当我们查询了三个字段时（多了city字段），所以系统默认以最后一个字段city为分区名，因为分区表的

分区字段默认也是该表中的字段，且依次排在表中字段的最后面。所以分区需要分区的字段只能放在后面，不能把顺序弄错。如果我们查询了四个字段的话，则会报错，因为该表加上分区字段也才三个。要注意系统是根据查询字段的位置推断分区名的，而不是字段名称。

在这里插入图片描述

查看分区
show partitions test_table;

在这里插入图片描述

分区用法

分区字段 其实就是一个虚拟字段

select * from table_name where ct='xxx' ;

在这里插入图片描述
文件定时导入分区

datax模板配置

此方式会失败

{
        "job": {
                "setting": {
                        "speed": {
                                "channel": 1
                        }
                },
                "content": [{
                        "reader": {
                                "name": "mysqlreader",
                                "parameter": {
                                        "column": ["*"],
                                        "password": "xxx",
                                        "username": "xxxx",
                                        "where": "",
                                        "connection": [{
                                                "jdbcUrl": ["jdbc:mysql://xxxxx:3306/web_magic"],
                                                "table": ["mysql_test_p"]
                                        }]
                                }
                        },
                        "writer": {
                                "name": "hdfswriter",
                                "parameter": {
                                        "column": [{
                                                        "name": "id",
                                                        "type": "int"
                                                },
                                                {
                                                        "name": "name",
                                                        "type": "string"
                                                },
                                                {
                                                        "name": "ct",
                                                        "type": "string"
                                                }

                                        ],
                                        "compress": "",
                                        "defaultFS": "hdfs://master:9000",
                                        "fieldDelimiter": ",",
                                        "fileName": "test_p",
                                        "fileType": "text",
                                        "path": "/user/hive/warehouse/testjar.db/test_p",
                                        "writeMode": "append"
                                }
                        }
                }]
单分区模版

必须确定分区

{
        "job": {
                "setting": {
                        "speed": {
                                "channel": 1
                        }
                },
                "content": [{
                        "reader": {
                                "name": "mysqlreader",
                                "parameter": {
                                        "column": ["id","name"],
                                        "password": "xxxxx$xx",
                                        "username": "xxxx",
                                        "where": "",
                                        "connection": [{
                                                "jdbcUrl": ["jdbc:mysql://x x xx:3306/web_magic"],
                                                "table": ["mysql_test_p"]
                                        }]
                                }
                        },
                        "writer": {
                                "name": "hdfswriter",
                                "parameter": {
                                        "column": [{
                                                        "name": "id",
                                                        "type": "int"
                                                },
                                                {
                                                        "name": "name",
                                                        "type": "string"
                                                }

                                        ],
                                        "compress": "",
                                        "defaultFS": "hdfs://xxxxx:xxx",
                                        "fieldDelimiter": ",",
                                        "fileName": "test_p",
                                        "fileType": "text",
                                        "path": "/user/hive/warehouse/testjar.db/test_p/ct=shanghai",
                                        "writeMode": "append"
                                }
                        }
                }]

        }
}



python ../bin/datax.py --jvm="-Xms128M -Xmx128M"  ./mysql2hive2.json 

## --jvm是这是最大最小使用内存

对于hdfswriter功能限制

 功能与限制
(1)、目前HdfsWriter仅支持textfile和orcfile两种格式的文件，且文件内容存放的必须是一张逻辑意义上的二维表;
(2)、由于HDFS是文件系统，不存在schema的概念，因此不支持对部分列写入;
(3)、目前仅支持与以下Hive数据类型： 数值型：TINYINT,SMALLINT,INT,BIGINT,FLOAT,DOUBLE 字符串类型：STRING,VARCHAR,CHAR 布尔类型：BOOLEAN 时间类型：DATE,TIMESTAMP 目前不支持：decimal、binary、arrays、maps、structs、union类型;
(4)、对于Hive分区表目前仅支持一次写入单个分区;
(5)、对于textfile需用户保证写入hdfs文件的分隔符与在Hive上创建表时的分隔符一致,从而实现写入hdfs数据与Hive表字段关联;
(6)、HdfsWriter实现过程是：首先根据用户指定的path，创建一个hdfs文件系统上不存在的临时目录，创建规则：path_随机；然后将读取的文件写入这个临时目录；全部写入后再将这个临时目录下的文件移动到用户指定目录（在创建文件时保证文件名不重复）; 最后删除临时目录。如果在中间过程发生网络中断等情况造成无法与hdfs建立连接，需要用户手动删除已经写入的文件和临时目录。
(7)、目前插件中Hive版本为1.1.1，Hadoop版本为2.7.1（Apache［为适配JDK1.7］,在Hadoop 2.5.0, Hadoop 2.6.0 和Hive 1.2.0测试环境中写入正常；其它版本需后期进一步测试；
(8)、目前HdfsWriter支持Kerberos认证（注意：如果用户需要进行kerberos认证，那么用户使用的Hadoop集群版本需要和hdfsreader的Hadoop版本保持一致，如果高于hdfsreader的Hadoop版本，不保证kerberos认证有效）

博主公众号
求关注
在这里插入图片描述

大数据DataX（五）：Hive导入到MySQL
Lansonli（蓝深李）的博客
02-20 1580
目前HdfsReader支持的文件格式有textfile（text）、orcfile（orc）、rcfile（rc）、sequence file（seq）和普通逻辑二维表（csv）类型格式的文件，且文件内容存放的必须是一张逻辑意义上的二维表。在底层实现上，HdfsReader获取分布式文件系统上文件的数据，并转换为DataX传输协议传递给Writer。将Hive数据导入到MySQL需要使用到“hdfsreader”和“MySQLWriter”插件，下面介绍以上两种插件。
利用DataX实现hive到MySQL
weixin_53323742的博客
05-25 3856
一、DataX是什么（https://github.com/alibaba/DataXhttps://github.com/alibaba/DataX） （1）异构数据源离线同步工具，致力于实现包括关系型数据 库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高 效的数据同步功能。 （2）支持的数据源 （3）运行原理 Job：单个作业的管理节点，负责数据清理、子任务划分、TaskGroup监控管理。 Task：由Job切.
二次开发DataX以支持HIVE分区表
MaxineSgr的博客
10-11 2904
问题 最近在一个大数据的项目开发中使用到了数据同步工具DataX，但在使用过程中发现了DataX对HIve分区表的支持不太友好。 具体体现在将数据库中的数据同步到HIVE分区表时，写入目录为HIVE表分区为dt=XXXX,如果不提前创建该分区，会报目录不存在的错误，如下图： ​ 原因分析 这个错误是由于DataX不支持在HDFS上创建目录导致的。 解决办法 二次开发DataX，在写入时检测目录，若目录不存在自动创建
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
DataX Hive写插件深度解析：从数据写入到Hive表关联实战
最新发布
qq_42773076的博客
06-14 1369
DataX的Hdfswriter插件提供了高效的数据写入Hive表的能力，通过合理配置可实现与Hive表的无缝对接。在实际应用中，需重点关注路径映射、字段分隔符一致性及类型转换规则。对于大规模数据写入，建议采用ORC格式并启用压缩，同时合理设置并发通道数以平衡性能与集群资源。自定义Hive SerDe实现复杂类型支持开发分区表批量写入功能集成Hive ACID特性实现事务性写入。
hive动态分区
weixin_37796929的博客
05-15 328
动态分区：分区的值是非确定的，由输入数据来确定 如果用上述的静态分区，插入的时候必须首先要知道有什么分区类型，而且每个分区写一个load data，太烦人。使用动态分区可解决以上问题，其可以根据查询得到的数据动态分配到分区里。其实动态分区就是不指定分区目录，由系统自己选择。 首先Hive 有一张表 person_par，如下： hive> select * from person_par; ...
dataX同步ck数据至hive分区表
Ricardo_N的博客
01-08 930
datax数据同步增量数据进hive分区表
使用DataX，从Greenplum将数据传输到Hive分区表中
flash_love的博客
06-19 1142
我司使用Greenplum作为计算库，实时计算统计数据，但是数据量大了之后影响计算速度。所以将每天的数据通过Datax传输到Hive的按日分区的分区表中，用于备份，其他数据放在Greenplum中作为实时数据计算。Greenplum内核还是PostgreSQL，所以Datax配置还是使用PostgreSQL的连接。
datax如何支撑hive分区表
csdn_wr的博客
11-02 6266
背景介绍 公司要搭建数据中台，离线数据采集就是其中重要一环，目前是基于alibaba的datax组件来搞得，整体来说日志非常清晰，定位问题非常好。but，它就是没办法支持hive分区表。原因是，datax写入hdfs时，必须要一个存在的hdfs目录，不然就报错，它不自动创建。分区表的分区对应的是目录，所以肯定不存在这个目录的。 解决思路 修改hdfswrite插件，在写入hdfs的时候，指定的分区路径如果不存在就创建一个。 解决步骤 第一步下载datax源码链接 解压修改hdfswrite插件源码
【DATAX】datax读取hive分区表时，空分区任务报错问题解决
快乐星球
09-20 2001
datax读取hive表，hdfsreader读取空分区时，任务报错问题解决
使用Datax将Hive(分区表)数据导入到Hbase
pengdixi的博客
01-27 1854
1. 限制 要求版本为Phoenix5.x及HBase2.x 仅支持通过Phoenix QeuryServer导入数据，因此您Phoenix必须启动QueryServer服务才能使用本插件 不支持清空已有表数据 仅支持通过phoenix创建的表，不支持原生HBase表 不支持带时间戳的数据导入 2. 安装Datax 详情见官方文档：https://github.com/alibaba/DataX/blob/master/userGuid.md 注意：本教程分别使用了 ”hive读“、”Phoenix5.
datax数据从hive导入mysql数据缺失解决
01-18
### DataX 数据从 Hive 导入 MySQL 数据缺失解决 #### 背景介绍 在大数据处理领域，Hive 和 MySQL 分别作为数据仓库与关系型数据库的重要组成部分，在数据流转过程中承担着关键角色。Hive 通常用于存储海量数据并...
hive分区导入
04-21
NULL 博文链接：https://jonas-wang.iteye.com/blog/1927709
datax--分库分表mysql同步数据到hive中
qq_46893497的博客
11-25 5894
一、背景及问题 分表100张 数据量8.6亿 需要使用datax从mysql同步至hdfs（hive） 之前是100个任务写入ods层的一张表 二、解决
datax hive分区
weixin_40841858的博客
08-25 195
我整理的一些关于【CSV】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/Hpqqk2DataX与Hive分区的科普 在大数据处理过程中，数据的高效存储和查询是至关重要的，而 Hive 分区正是提高 Hive 查询性能的有效方法。本篇文章将介绍如何使用 DataX 将数据导入...
Dolphinscheduler配置dataX离线采集任务写入hive实践（二）
keep_learn的专栏
11-08 1512
hive 文件保存有格式区别，如果在dataX 任务里，没有细心核对hive 文件格式，虽然表面上dataX 任务执行成功，但是hive的文件却被破坏了，导致不可用。发现可以在系统中配置环境变量指定用户，这样就可以在dolphins中通过dataX 直接向hive 中写入数据了。但系统和内hive表一般时动态增加的，总不能一直靠着命令行解决问题吧，后边研究了Hadoop的权限校验。dataX 导入hive 分区表必须指定分区，否则的话，任务执行成功，没有返回异常，但是呢，数据没写入。
DataX实现数据同步(分区处理)
zxcvbnm0207的博客
02-19 1485
3、这里有一个坑，就是你在指明分区路径的时候，这时候分区是已经存在了的，不然DataX就会报错没有这个路径，可以自己先创建分区，由于是按照每日新增数据来进行分区管理的，因此这里可以手动创建分区。之前使用DataX来实现数据的同步，只是将数据送到了指定的位置，但是并没有分区处理，这样当数据多了的时候就不是可以很方便的管理数据了，因此，可以增设一个分区来对数据进行处理。2、接下来就是进行json文件的配置了，跟我上一篇的配置大同小异，但是在路径中稍有变动。这个时候在使用DataX的时候就不会再报错了。
Hive动态分区
qq_34896163的博客
06-18 388
场景一(动态分区和静态分区结合)：如果一个分区表A(日表)中有两个分区字段:prov_id(省分区),day_id(日分区)，一个分区表B(月表)中有两个分区字段prov_id(省分区),month_id(月分区)。需要将A表中的20190101~20190131月份的所有数据插入到表B的201901月份中，这里就需要使用动态分区结合静态分区的方式插入数据。注意：官方文档说：静态分区键必须出现在动...
2. Datax将数据导入到hive中_注意事项和小技巧
weixin_48370579的博客
08-06 2932
2. Datax将数据导入到hive中 2.1 注意事项： 将idea中的CRLF改成LF，因为在windows中的转行符号为 \r\n 而在linux中的换行符是 \n,如果不转的话会报错 我们在配置datax 的 . json文件时需要注意 从GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。中取read和write时 { ...
hive分区字段是bigint不能数据同步到mysql,mysql要做什么修改才能导入
12-11
在Hive中，分区字段是`bigint`类型，而MySQL中可能没有直接对应的数据类型。MySQL中常用的整数类型有`TINYINT`、`SMALLINT`、`MEDIUMINT`、`INT`和`BIGINT`。为了将Hive中的`bigint`类型数据同步到MySQL，可以将MySQL中的目标字段类型设置为`BIGINT`。 以下是一些步骤和注意事项： 1. **修改MySQL表结构**： - 确保MySQL表中有与Hive分区字段对应的列，并且类型为`BIGINT`。 - 如果MySQL表中没有该列，可以使用`ALTER TABLE`语句添加。例如： ```sql ALTER TABLE your_table_name ADD COLUMN partition_column BIGINT; ``` 2. **数据同步工具配置**： - 如果使用数据同步工具（如Sqoop、DataX等），确保在配置文件中将Hive中的`bigint`类型映射到MySQL中的`BIGINT`类型。 - 例如，使用Sqoop时，可以使用如下命令： ```bash sqoop export \ --connect jdbc:mysql://your_mysql_host:your_mysql_port/your_database \ --export-dir /path/to/hive/table \ --input-fields-terminated-by '\t' \ --map-column-hive partition_column=bigint \ --map-column-java partition_column=Long ``` 3. **数据验证**： - 同步完成后，建议在MySQL中验证数据是否正确导入。可以使用简单的`SELECT`语句进行检查： ```sql SELECT partition_column FROM your_table_name LIMIT 10; ``` 4. **处理潜在问题**： - 确保MySQL表中的`BIGINT`列有足够的存储空间来容纳Hive中的数据。 - 检查是否有数据超出`BIGINT`的范围（`-9223372036854775808`到`9223372036854775807`）。 通过以上步骤，您可以将Hive中的`bigint`类型数据成功同步到MySQL中。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值