使用datax将mysql数据同步到ES 附elasticsearchwriter插件

最新推荐文章于 2025-06-19 10:19:04 发布

Okami李

最新推荐文章于 2025-06-19 10:19:04 发布

阅读量4.4k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：记录贴文章标签： mysql es elasticsearch

本文链接：https://blog.csdn.net/weixin_45433648/article/details/109445335

使用datax将mysql数据同步到ES 附elasticsearchwriter插件

datax简介
elasticsearchwriter插件编译过程
elasticsearchwriter网盘

最近在准备datax相关资料顺便把我之前遇到的问题分享一下

datax简介

DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
github上教程写的很详细。
链接: https://github.com/alibaba/DataX

话不多说直接上配置文件：

ESquerySql.json

{
   
   
  "job": {
   
   
      "setting": {
   
   
          "speed": {
   
   
              "channel": 1,
              "record": -1,
              "byte": -1
          }
      },
      "content": [{
   
   
          "reader": {
   
   
              "name": "mysqlreader",
              "parameter": {
   
   
                  "username": "***",
                  "password": "***",
                  "column": [