DataX是阿里的异构数据源离线同步工具，具体的介绍和应用能够参考官网介绍和Quick Start。DataX系列次要是更具体的介绍整个运行的原理。

Configuration

DataX配置的解析包含job.json、core.json、plugin.json这三个文件。这三个json文件都是多层级的json配置的，比方一个a.b.c=d的json，咱们如果通过json获取，个别是先通过a这个key获取到b.c的json，而后再通过b这个key获取到c的josn，最初通过c这个key获取到d，这样代码写起来就很繁琐。

DataX提供了一个Configuration的类，能够间接把json进行压平，咱们通过上面的例子来看看。

public static String JSON = "{'a': {'b': {'c': 'd'}}}";

public static void main(String[] args) {
    Configuration configuration = Configuration.from(JSON);
    System.out.println(configuration.get("a.b"));
    System.out.println(configuration.get("a.b.c"));
    System.out.println(configuration.get("a.b.d"));
}

运行后果如下，能够看到通过Configuration能够很不便的获取到json的多层级的数据。除了get，还有合并merge、依据String类型取值getString、获取必填项getNecessaryValue等办法，这里就不一一介绍了。

{"c":"d"}
d
null

job.json

job.json是作业的配置文件，在工作运行之前，通过参数把配置文件的全门路传入，所以名称是能够自定义的。

次要配置的内容包含job.content.reader、job.content.writer以及job.setting.speed，reader和writer能够参考每个对应模块里resources/plugin_job_template.json这个文件，也能够通过命令间接获取，这种形式做Quick Start里有示例。次要是指定用哪个reader进行读取数据，哪个writer进行写入数据，以及reader和writer的相干配置信息。

setting.speed次要的流速的管制，这个前面再来具体解说。

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
      }
    }
  }
}

core.json

全门路是在DATAX_HOME/conf/core.json，配置一些全局的信息，比方taskGroup的channel个数，类型转换就是这里配置的。

{
    "entry": {
        "jvm": "-Xms1G -Xmx1G",
        "environment": {}
    },
    "common": {
        "column": {
            "datetimeFormat": "yyyy-MM-dd HH:mm:ss",
            "timeFormat": "HH:mm:ss",
            "dateFormat": "yyyy-MM-dd",
            "extraFormats":["yyyyMMdd"],
            "timeZone": "GMT+8",
            "encoding": "utf-8"
        }
    },
    "core": {
        "dataXServer": {
            "address": "http://localhost:7001/api",
            "timeout": 10000,
            "reportDataxLog": false,
            "reportPerfLog": false
        },
        "transport": {
            "channel": {
                "class": "com.alibaba.datax.core.transport.channel.memory.MemoryChannel",
                "speed": {
                    "byte": -1,
                    "record": -1
                },
                "flowControlInterval": 20,
                "capacity": 512,
                "byteCapacity": 67108864
            },
            "exchanger": {
                "class": "com.alibaba.datax.core.plugin.BufferedRecordExchanger",
                "bufferSize": 32
            }
        },
        "container": {
            "job": {
                "reportInterval": 10000
            },
            "taskGroup": {
                "channel": 5
            },
            "trace": {
                "enable": "false"
            }

        },
        "statistics": {
            "collector": {
                "plugin": {
                    "taskClass": "com.alibaba.datax.core.statistics.plugin.task.StdoutPluginCollector",
                    "maxDirtyNumber": 10
                }
            }
        }
    }
}

plugin.json

plugin.json的全门路是DATAX_HOME/plugin/reader/streamreader/plugin.json，这个streamreader和下面job.json里是对应的关系。

这个文件次要的内容就是name和class，class就是运行时要用到的插件类。因为会有reader和writer，所以这里会加载两个plugin.json。

{
    "name": "streamreader",
    "class": "com.alibaba.datax.plugin.reader.streamreader.StreamReader",
    "description": {
        "useScene": "only for developer test.",
        "mechanism": "use datax framework to transport data from stream.",
        "warn": "Never use it in your real job."
    },
    "developer": "alibaba"
}

以上job.json、core.json、plugin.json这三个文件加载后会通过merge办法进行合并，所以最终失去的Configuration就是这些文件的合并信息，前面就是通过Configuration来启动插件。