离线同步任务运行时_大数据开发治理平台 DataWorks(DataWorks)-阿里云帮助中心

本文为您介绍离线同步的相关问题。

文档概述

问题分类	相关文档
离线同步任务运维常见问题	为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否所有数据都不会同步？如何排查离线同步任务运行时间长的问题？源表有默认值，通过数据集成创建的目标表，默认值、非空属性等会保留吗？
非插件报错原因及解决方案	如何处理编码格式设置/乱码问题导致的脏数据报错？任务存在SSRF攻击Task have SSRF attacts如何处理？离线同步任务执行偶尔成功偶尔失败离线同步源表有加列（修改）如何处理？如何处理表列名有关键字导致同步任务失败的情况？日期时间类型数据写入文本时，如何保留毫秒或者指定自定义日期时间格式？
具体插件报错原因及解决方案	添加MongoDB数据源时，使用root用户时报错读取MongoDB时，如何在query参数中使用timestamp实现增量同步？ MongoDB同步至数据目的端数据源后，时区加了8个小时，如何处理？读取MongoDB数据期间，源端有更新记录，但未同步至目的端，如何处理？读取OSS文件是否有文件数限制？写入DataHub时，一次性写入数据超限导致写入失败如何处理？使用lindorm bulk方式写入数据，是否每次都会替换掉历史数据？如何查询一个ES索引下的所有字段？ MongoDB Reader是否大小写敏感？怎么配置MongoDB Reader超时时长？向包含主键自增列的目标表写入数据，需要如何配置OTS Writer？在时序模型的配置中，如何理解_tag和is_timeseries_tag两个字段？
离线同步场景及解决方案	离线同步任务如何自定义表名？配置离线同步节点时，无法查看全部的表，该如何处理？读取MaxCompute（ODPS）表数据时，添加一行注意事项读取MaxCompute（ODPS）表数据时，如何同步分区字段？读取MaxCompuet（ODPS）表数据时，如何同步多个分区数据？如何处理表列名有关键字导致同步任务失败的情况？读取Loghub同步某字段有数据但是同步过来为空读取Loghub同步少数据读取Loghub字段映射时读到的字段不符合预期读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？写入OSS出现随机字符串如何去除？ MySQL分库分表如何将分表同步到一张MaxCompute中数据同步任务where条件没有索引，导致全表扫描同步变慢目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？同步的数据表，是否只能使用Alter方式来修改TTL? 使用API方式同步的时候，支持使用来源端的（例如MaxCompute）函数做聚合吗？例如源表有a、b两列作为Lindorm的主键 Elasticsearch Reader如何同步对象Object或Nested字段的属性？（例如同步object.field1）存储在ODPS的sting类型同步至ES后，两侧出""引号，如何处理？源端JSON类型的string是否可以同步为ES中的NESTED对象？源端数据为string "[1,2,3,4,5]"，如何以数组形式同步至ES中存储？自建的索引中nested的属性类型type为keyword，为什么自动生成之后类型会变成 keyword？（自动生成是指配置cleanup=true执行同步任务）向ES写入数据时，会做一次无用户名的提交，但仍需验证用户名，导致提交失败，因此提交的所有请求数据都被记录，导致审计日志每天都会有很多，如何处理？ Elasticsearch writer配置了Settings，为什么在创建索引时不生效？如何同步至ES中为Date日期类型？ Elasticsearch Writer指定外部version导致写入失败，如何处理？非结构化数据源，单击数据预览字段无法映射，如何处理？ MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover
报错信息及解决方案	报错信息及解决方案数据同步报错： `[TASK_MAX_SLOT_EXCEED]:Unable to find a gateway that meets resource requirements. 20 slots are requested, but the maximum is 16 slots.` 数据同步报错： `OutOfMemoryError: Java heap space` 读取OSS数据报错： `AccessDenied The bucket you access does not belong to you.` 写入Redis使用hash模式存储数据时，报错： `Code:[RedisWriter-04], Description:[Dirty data]. - source column number is in valid!` 读取PostgreSQL数据报错： `org.postgresql.util.PSQLException: FATAL: terminating connection due to conflict with recovery` 写入/读取MySQL报错： `Application was streaming results when the connection failed. Consider raising value of 'net_write_timeout/net_read_timeout、' on the server.` 读取MySQL数据库报错： `The last packet successfully received from the server was 902,138 milliseconds ago` 离线同步至MySQL报错： `[DBUtilErrorCode-05]ErrorMessage: Code:[DBUtilErrorCode-05]Description:[往您配置的写入表中写入数据时失败.]. - com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: No operations allowed after connection closed` 离线同步报错： `Communications link failure` 离线同步报错： `Duplicate entry 'xxx' for key 'uk_uk_op'` 离线同步报错： `plugin xx does not specify column` 读取MaxCompute（ODPS）表数据报错： `The download session is expired.` 写入MaxCompute(ODPS）报错block失败： `Error writing request body to server` RestAPI Writer报错： `通过path:[] 找到的JSON串格式不是数组类型` 离线同步源端是亚马逊的RDS时报错： `Host is blocked` 读取MongoDB报错： `no master` 读取MongoDB报错： `MongoExecutionTimeoutException: operation exceeded time limit` 离线同步读取Elasticsearch Reader报错： `ERROR ESReaderUtil - ES_MISSING_DATE_FORMAT, Unknown date value. please add "dataFormat". sample value:` 离线同步读取Elasticsearch Reader报错： `com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误. 您提供的配置信息不是合法的JSON格式: illegal ref, [ . 请按照标准json格式提供配置信息.` 离线同步写入Elasticsearch报错： `version_conflict_engine_exception.` 离线同步写入Elasticsearch报错： `illegal_argument_exception.` ODPS Array字段类型数据离线同步至ElasticSearch报错： `dense_vector.` 离线同步数据至本地Hive报错：Could not get block locations. MongoDB同步任务运行报错：no such cmd splitVector MongoDB离线同步报错：After applying the update, the (immutable) field '_id' was found to have been altered to _id: "2" 离线任务，运行报错：MongoDBReader$Task - operation exceeded time limitcom.mongodb.MongoExecutionTimeoutException: operation exceeded time limit.

为什么数据源测试连通性成功，但是离线同步任务执行失败？

如果您之前测试连通性通过，请重新测试连通性，确认资源组与数据库当前是可联通状态（确认数据库端无变更）。
请检查测试连通性成功的资源组和任务执行所用的资源组是不是同一个。
查看任务运行资源：
- 任务运行在默认的资源组上，日志中会出现如下信息： running in Pipeline[basecommon_ group_xxxxxxxxx] 。
- 任务运行在数据集成自定义资源组上，日志中会出现如下信息： running in Pipeline[basecommon_xxxxxxxxx] 。
- 任务运行在独享数据集成资源上，日志中会出现如下信息： running in Pipeline[basecommon_S_res_group_xxx] 。
如果凌晨任务调度时偶尔失败，但重跑又能成功，请检查数据库在报错时间点的负载情况。

如何切换数据集成任务执行资源组？

您可以在 DataStudio 修改数据集成任务调试所用的资源组，同时，也支持您在 运维中心 修改任务调度时所使用的数据集成任务执行资源组。配置详情请参见：新增和使用独享数据集成资源组。

脏数据如何排查和定位？

脏数据定义：单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。

脏数据影响：脏数据将不会成功写入目的端。您可以控制是否允许脏数据产生，并且支持控制脏数据条数，数据集成默认允许脏数据产生，您可以在同步任务配置时指定脏数据产生条数。详情可参考：通过向导模式配置离线同步任务。

任务设置允许脏数据：当脏数据产生时，任务继续执行，但脏数据将会被舍弃，不写入目的端。
任务控制允许产生的脏数据条数：
- 设置脏数据允许条数为0条，则当脏数据产生时，任务将失败退出。
- 设置脏数据允许条数为x条，则当脏数据产生条数超过x条时，任务将失败退出，当脏数据产生条数小于x条时，任务将继续运行，但脏数据将会被舍弃，不写入目的端。

脏数据实时场景分析：

场景一：
- 报错现象： {"message":"写入 ODPS 目的表时遇到了脏数据: 第[3]个字段的数据出现错误，请检查该数据并作出修改或者您可以增大阈值，忽略这条记录.","record":[{"byteSize":0,"index":0,"type":"DATE"},{"byteSize":0,"index":1,"type":"DATE"},{"byteSize":1,"index":2,"rawData":0,"type":"LONG"},{"byteSize":0,"index":3,"type":"STRING"},{"byteSize":1,"index":4,"rawData":0,"type":"LONG"},{"byteSize":0,"index":5,"type":"STRING"},{"byteSize":0,"index":6,"type":"STRING"} 。
- 如何处理：该日志中可以看出脏数据的字段，第三个字段异常。
  - 脏数据是writer端报的，要检查下writer端的建表语句。odps端该表字段指定的字段大小小于MySQL端该字段数据大小。
  - 数据同步原则：来源端数据源的数据要能写入目的端数据源（来源端和目的端类型需要匹配，字段定义的大小需要匹配），即源端数据类型需要与写端数据类型匹配，源端是VARCHAR类型的数据不可写到INT类型的目标列中；目标端的数据类型定义的大小需要可以接收源端映射字段实际数据大小，源端是long、varchar 、double等类型的数据，目的端均可用string、text等大范围类型接纳。
  - 脏数据报错不清晰时，需要复制出打印出的脏数据的一整条，观察其中的数据，和目的端数据类型比较，看哪一条或哪一些不合规范。
  比如：
```
{"byteSize":28,"index":25,"rawData":"ohOM71vdGKqXOqtmtriUs5QqJsf4","type":"STRING"}
```
  byteSize：字节数；index:25，第26个字段；rawData：具体值（即value）；type：数据类型。
场景二：
- 报错现象：DataX读取MySQL中有空值时报脏数据。
- 如何处理：请检查源端存在空值的字段将写入目标端什么类型的字段中，如果类型不一致将会报错。例如，string类型的null写入目标端int类型字段时会报错。

如何查看脏数据？

你可以进入日志详情页，单击日志中 Detail log url 获取具体查看离线同步日志以及脏数据信息。查看日志

如果离线同步传输数据时，脏数据超出限制，是否所有数据都不会同步？

当脏数据数量超出限制时，任务立即停止，此前传输了多少条数据就是多少条。脏数据限制设置为多少就是不允许有多少条脏数据，若限制为0即在发现第一条脏数据时就会停止任务，此时有可能已经传几条数据了，或者没有传输数据（脏数据在所有数据中位于第一条时）。

如何排查离线同步任务运行时间长的问题？

可能原因1：执行时间过长

前置语句或后置语句（例如：preSql和postSql）在数据库执行耗时过长，导致任务运行慢。
未合理配置切分键，导致任务运行慢。

离线同步会根据切分键（splitPk）来对进行数据分片，数据同步根据此配置启动并发任务进行数据同步，提高数据同步的效能。（具体插件是否需要配置切分键，请参考具体插件文档）。

解决方案1：

若配置前置或后置语句，建议使用添加了索引的字段进行数据过滤。
支持设置切分键的场景下，建议合理配置切分键。以MySQL Reader插件切分键配置为例：
- 推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。
- 目前splitPk仅支持整型数据切分，不支持字符串、浮点和日期等其他类型。如果指定其他非支持类型，将使用单通道进行同步。
- 如果不填写splitPk，包括不提供splitPk或者splitPk值为空，数据同步视作使用单通道同步该表数据。

可能原因2：等待数据集成任务执行资源

解决方案2：若日志出现长时间WAIT状态，说明当前任务运行所使用的独享数据集成资源组剩余可运行的并发数不足以运行当前任务。具体原因及解决方案详情请参见：为什么数据集成任务一直显示wait？。

//es7
curl -u username:password --request GET 'http://esxxx.elasticsearch.aliyuncs.com:9200/indexname/_mapping'
//es6
curl -u username:password --request GET 'http://esxxx.elasticsearch.aliyuncs.com:9200/indexname/typename/_mapping'

{
    "indexname": {
        "mappings": {
            "typename": {
                "properties": {
                    "field1": {
                        "type": "text"
                    "field2": {
                        "type": "long"
                    "field3": {
                        "type": "double"
}

```
select bid,inviter,uid,createTime from `relatives` where createTime>='2016-10-2300:00:00'and reateTime<'2016-10-24 00:00:00';
```

"multi":{
   "multi":true 
 }

#例子：
##es内的数据
"hits": [
        "_index": "mutiltest_1",
        "_type": "_doc",
        "_id": "7XAOOoMB4GR_1Dmrrust",
        "_score": 1.0,
        "_source": {
            "level1": {
                "level2": [
                        "level3": "testlevel3_1"
                        "level3": "testlevel3_2"
##reader配置
"parameter": {
  "column": [
      "level1",
      "level1.level2",
      "level1.level2[0]"
  "multi":{
        "multi":true
##写端结果：1行数据3列，列顺序同reader配置，
COLUMN              VALUE
level1:             {"level2":[{"level3":"testlevel3_1"},{"level3":"testlevel3_2"}]}
level1.level2:      [{"level3":"testlevel3_1"},{"level3":"testlevel3_2"}]
level1.level2[0]:   {"level3":"testlevel3_1"}

```
//es7
curl -u username:password --request GET 'http://esxxx.elasticsearch.aliyuncs.com:9200/indexname/_mapping'
//es6
curl -u username:password --request GET 'http://esxxx.elasticsearch.aliyuncs.com:9200/indexname/typename/_mapping'
```

- ```
"column":[
    "name":"docs",
    "type":"keyword",
    "json_array":true
]
```
- ```
"parameter" : {
      "column": [
          "name": "col1",
          "array": true,
          "type": "long"
      "splitter":","
}
```

#原来mappings
  "name":"box_label_ret",
  "properties":{
    "box_id":{
      "type":"keyword"
#cleanup=true重建之后，变成了
    "box_label_ret": {
      "properties": {
        "box_id": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
}

#错误配置
"settings": {
  "index": {
    "number_of_shards": 1,
    "number_of_replicas": 0
#正确配置
"settings": {
  "number_of_shards": 1,
  "number_of_replicas": 0
}

- ```
"parameter" : {
    "column": [
            "name": "col_date",
            "type": "date",
            "format": "yyyy-MM-dd HH:mm:ss",
            "origin": true
}
```

"parameter" : {
    "column": [
            "name": "col_date",
            "type": "date",
            "format": "yyyy-MM-dd HH:mm:ss",
            "Timezone": "UTC"
}

    "column":[
                                "name":"id",
                                "type":"version"
  ]

```
{
    "MY_NAME": "zhangsan"
}
```

{
    "column":
            "name": "my_name"
}

"newVersion": "true",
"enableAutoIncrement": "true",

- ```
"column": [
        "name": "_tags",
    ],
```
```
["phone=xiaomi","camera=LEICA","RAM=8G"]
```
- ```
"column": [
        "name": "phone",
        "is_timeseries_tag":"true",
        "name": "camera",
        "is_timeseries_tag":"true",
    ],
```
```
xiaomi, LEICA
```
```
"column": [
        "name": "_tags",
        "name": "price",
        "is_timeseries_tag":"true",
    ],
```

"common": {
  "column": {
    "dateFormat": "yyyyMMdd",
    "datetimeFormatInNanos": "yyyyMMdd HH:mm:ss.SSS"
}

- ```
"parameter" : {
      "column": [
          "name": "col1",
          "type": "date"
     "dateFormat" : "yyyy-MM-dd||yyyy-MM-dd HH:mm:ss",
}
```

```
{"name":"dim2_name",...,"other_params":{"similarity":"len_similarity"}}
```

ID,PARENT,ROUTING,VERSION,STRING,TEXT,KEYWORD,LONG,
INTEGER,SHORT,BYTE,DOUBLE,FLOAT,DATE,BOOLEAN,BINARY,
INTEGER_RANGE,FLOAT_RANGE,LONG_RANGE,DOUBLE_RANGE,DATE_RANGE,
GEO_POINT,GEO_SHAPE,IP,IP_RANGE,COMPLETION,TOKEN_COUNT,OBJECT,NESTED;

2. ```
"useSplitVector" : false
```

文档概述

为什么数据源测试连通性成功，但是离线同步任务执行失败？

如何切换数据集成任务执行资源组？

脏数据如何排查和定位？

如何查看脏数据？

如果离线同步传输数据时，脏数据超出限制，是否所有数据都不会同步？

如何排查离线同步任务运行时间长的问题？

如何处理编码格式设置/乱码问题导致的脏数据报错？

任务存在SSRF攻击 Task have SSRF attacks 如何处理？

离线同步任务执行偶尔成功偶尔失败

离线同步源表有加列（修改）如何处理？

添加MongoDB数据源时，使用root用户时报错

读取MongoDB时，如何在query参数中使用timestamp实现增量同步？

MongoDB同步至数据目的端数据源后，时区加了8个小时，如何处理？

读取MongoDB数据期间，源端有更新记录，但未同步至目的端，如何处理？

读取OSS文件是否有文件数限制？

写入DataHub时，一次性写入数据超限导致写入失败如何处理？

使用lindorm bulk方式写入数据，是否每次都会替换掉历史数据？

如何查询一个ES索引下的所有字段？

数据从ES离线同步至其他数据源中时，每天同步的索引名称不一样，如何配置？

离线同步任务如何自定义表名？

配置离线同步节点时，无法查看全部的表，该如何处理？

读取MaxCompute（ODPS）表数据时，添加一行注意事项

读取MaxCompute（ODPS）表数据时，如何同步分区字段？

读取MaxCompute（ODPS）表数据时，如何同步多个分区数据？

如何处理表列名有关键字导致同步任务失败的情况？

读取Loghub同步某字段有数据但是同步过来为空

读取Loghub同步少数据

读取Loghub字段映射时读到的字段不符合预期

读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据

Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？

写入OSS出现随机字符串如何去除？

MySQL分库分表如何将分表同步到一张MaxCompute中

数据同步任务where条件没有索引，导致全表扫描同步变慢

目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？

使用API方式同步的时候，支持使用来源端的（例如MaxCompute）函数做聚合吗？例如源表有a、b两列作为Lindorm的主键

同步的数据表，是否只能使用Alter方式来修改TTL?

Elasticsearch Reader如何同步对象Object或Nested字段的属性？（例如同步object.field1）

存储在ODPS的string类型同步至ES后，两侧缺少引号，如何处理？源端JSON类型的string是否可以同步为ES中的NESTED对象？

源端数据为 string "[1,2,3,4,5]" ，如何以数组形式同步至ES中存储？

自建的索引中nested的属性类型type为keyword，为什么自动生成之后类型会变成 keyword？（自动生成是指配置 cleanup=true 执行同步任务）

向ES写入数据时，会做一次无用户名的提交，但仍需验证用户名，导致提交失败，因此提交的所有请求数据都被记录，导致审计日志每天都会有很多，如何处理？

Elasticsearch writer配置了Settings，为什么在创建索引时不生效？

如何同步至ES中为Date日期类型？

Elasticsearch Writer指定外部version导致写入失败，如何处理？

非结构化数据源，单击数据预览字段无法映射，如何处理？

MongoDB Reader是否大小写敏感？

怎么配置MongoDB Reader超时时长？

MaxCompute如何实现列筛选、重排序和补空等

MaxCompute列配置错误的处理

MaxCompute分区配置注意事项

MaxCompute任务重跑和failover

源表有默认值，通过数据集成创建的目标表，默认值、非空属性等会保留吗？

向包含主键自增列的目标表写入数据，需要如何配置OTS Writer？

在时序模型的配置中，如何理解 _tag 和 is_timeseries_tag 两个字段？

日期时间类型数据写入文本时，如何保留毫秒或者指定自定义日期时间格式？

报错信息及解决方案

数据同步报错： [TASK_MAX_SLOT_EXCEED]:Unable to find a gateway that meets resource requirements. 20 slots are requested, but the maximum is 16 slots.

数据同步报错： OutOfMemoryError: Java heap space

读取OSS数据报错： AccessDenied The bucket you access does not belong to you.

写入Redis使用hash模式存储数据时，报错： Code:[RedisWriter-04], Description:[Dirty data]. - source column number is in valid!

读取PostgreSQL数据报错： org.postgresql.util.PSQLException: FATAL: terminating connection due to conflict with recovery

写入/读取MySQL报错： Application was streaming results when the connection failed. Consider raising value of 'net_write_timeout/net_read_timeout、' on the server.

离线同步至MySQL报错： [DBUtilErrorCode-05]ErrorMessage: Code:[DBUtilErrorCode-05]Description:[往您配置的写入表中写入数据时失败.]. - com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: No operations allowed after connection closed

读取MySQL数据库报错： The last packet successfully received from the server was 902,138 milliseconds ago

离线同步报错： Communications link failure

离线同步报错： Duplicate entry 'xxx' for key 'uk_uk_op'

离线同步报错： plugin xx does not specify column

读取MaxCompute（ODPS）表数据报错： The download session is expired.

写入MaxCompute(ODPS）报错block失败： Error writing request body to server

RestAPI Writer报错： 通过path:[] 找到的JSON串格式不是数组类型

离线同步源端是亚马逊的RDS时报错： Host is blocked

读取MongoDB报错： no master

读取MongoDB报错： MongoExecutionTimeoutException: operation exceeded time limit

离线同步读取MongoDB报错： DataXException: operation exceeded time limit (adsbygoogle = window.adsbygoogle || []).push({});

离线同步读取Elasticsearch报错： ERROR ESReaderUtil - ES_MISSING_DATE_FORMAT, Unknown date value. please add "dataFormat". sample value:

离线同步写入Elasticsearch报错： version_conflict_engine_exception.

离线同步写入Elasticsearch报错： illegal_argument_exception.

ODPS Array字段类型数据离线同步至ElasticSearch报错： dense_vector

离线同步数据至本地Hive报错： Could not get block locations.