datax实战-mysql同步数据到hive_datax同步数据到hive,dataxmysql2hive资源-CSDN下载

5星 · 超过95%的资源 68 浏览量 2021-01-07 08:45:32 上传评论 1 收藏 19KB PDF 举报

资源推荐

资源详情

资源评论

datax实战实战-mysql同步数据到同步数据到hive

{

"job": {

"setting": {

"speed": {

"channel": 1

},

"errorLimit": {

"record": 0,

"percentage": 0.02

}

},

"content": [

{

"reader": {

"name": "mysqlreader",

"parameter": {

"username": "*****",

"password": "*****",

"column": [

"name",

"sku"

],

"splitPk": "id",

"connection": [

{

"table": [

"table_test"

],

"jdbcUrl": [

"jdbc:mysql://*****:3306/databasesName?useUnicode=true&characterEncoding=UTF-8",

] }

] }

},

"writer": {

"name": "hdfswriter",

"parameter": {

"defaultFS": "hdfs://*****/",

"fileType": "text",

"path": "/usr/hive/warehouse/tmp.db/*****/",

"fileName": "test",

"hadoopConfig":{

"dfs.nameservices": "HDFS*****",

"dfs.ha.namenodes.HDFS*****": "nn1,nn2",

"dfs.namenode.rpc-address.HDFS*****.nn1": "*****:4007",

"dfs.namenode.rpc-address.HDFS*****.nn2": "*****:4007",

"dfs.client.failover.proxy.provider.HDFS*****":

"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"

} ,

"column": [

{

"name": "name",

"type": "STRING"

},

{

"name": "sku",

"type": "STRING"

}

],

"writeMode": "append",

"fieldDelimiter": " ",

"compress":"gzip"

}

}

}

] }

}

作者：忆山

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

内容反馈

简甜XIU09161027

2023-07-26

提供了mysql数据同步到hive的具体操作流程，对于有实际需求的读者很实用。
shashashalalala

2023-07-26

列出了常见问题及解决方法，为读者提供了便利。
韩金虎

2023-07-26

快速实现mysql数据同步到hive的读者来说，这份文件是一个很好的指南。
三山卡夫卡

2023-07-26

件通俗易懂，解释了datax工具实际应用场景，值得一读。
透明流动虚无

2023-07-26

细介绍了datax工具的配置步骤，让读者能够快速上手。

weixin_38618315

粉丝: 1

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip