阿里云文档 2024-12-17

数据集成Serverless同步任务

本文介绍数据集成Serverless同步任务的特性以及相关配置。

阿里云文档 2024-12-04

如何通过DataWorks数据集成同步异构数据源间的数据

本教程以MySQL中的用户基本信息(ods_user_info_d)表及OSS中的网站访问日志数据(user_log.txt)文件,通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例,为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步,完成数仓数据同步操作。

问答 2024-06-17 来自:开发者社区

DataWorks使用数据集成创建同步任务-离线整库离线同步,选了全量同步,和增量同步怎么办?

DataWorks使用数据集成创建同步任务-离线整库离线同步,选了全量同步,和增量同步,全量同步生效了,增量同步没有生效,后重新创建测试任务只有增量同步,数据同步还是没有生效?我昨天配置了配置的离线整库同步,勾选了全量同步和增量同步(设置时间是0:20分钟),全亮同步,任务启动后就执行了,增量同步今天看结果,数据没有同步,调度未生效

阿里云文档 2023-09-19

如何通过数据集成同步分库分表数据至MaxCompute

本文以MySQL分库分表实时写入MaxCompute场景为例,为您介绍如何通过数据集成同步分库分表数据至MaxCompute。

阿里云文档 2023-02-23

问题描述Dataphin使用Shell任务运行DataX同步任务时报错datax.py的路径找不到是什么原因?解决方案路径不对,修改datax.py的路径从$DATA_HOME修改为$DATAX_HOME。DATADATAX适用于Dataphin

问答 2022-12-18 来自:开发者社区

我在使用数据集成同步(周期性同步)MySQL表到maxcompute时设置增量同步条件如下

我在使用数据集成同步(周期性同步)MySQL表到maxcompute时设置增量同步条件如下, DATE_FORMAT(create_time, '%Y%m%d') >= $bizdate AND DATE_FORMAT(create_time, '%Y%m%d')  我设置的5分钟执行一次,验证这个条件是否正确,...

阿里云文档 2022-11-30

Dataphin数据集成同步数据至Oracle时preSql超时

问题描述Dataphin数据集成同步数据至Oracle时preSql超时。Oracle数据库侧检查SQL已经执行完成,最后手动终止同步任务。2022-11-08 21:17:15.816 [job-0] INFO  JobContainer - DataX Reader.Job [odpsreade...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等