阿里云文档 2024-11-14

如何通过数据集成同步数据至目的端数据源

本文将以LogHub数据同步至MaxCompute为例,为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源(例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等)。

文章 2024-06-30 来自:开发者社区

DataWorks产品使用合集之datax解析oracle增量log日志该如何操作

问题一:dataworks这边昨天有个py3任务,平时是跑几分钟的,但是昨天跑了15个小时,如何解决? dataworks这边昨天有个py3任务,平时是跑几分钟的,但是昨天跑了15个小时,如何解决? 参考回答: "建议先给周期任务配置一下智能监控规则 长时间未运行完成触发告警 即使处理 再观察看下是否是高频现象 ...

DataWorks产品使用合集之datax解析oracle增量log日志该如何操作
问答 2024-03-26 来自:开发者社区

dataworks这个怎么操作辛苦,没办法odps剥离增量吗?

datax解析oracle增量log日志怎么操作辛苦?可以用odps剥离增量吗?

问答 2023-12-24 来自:开发者社区

DataWorks中odps运行数据集成任务,运行日志中stage为0%?

DataWorks中odps运行数据集成任务,运行日志中stage为0%?

问答 2023-12-17 来自:开发者社区

DataWorks数据集成实时同步,在全量初始化时怎么不动了呢?运行日志也打不开了?

DataWorks数据集成实时同步,在全量初始化时怎么不动了呢?运行日志也打不开了?停了10多分钟又在动了

文章 2023-12-07 来自:开发者社区

请仔细检查DataX报告的脏数据日志信息,或者调整脏数据阈值。

这个错误通常发生在源数据中存在大量脏数据时。请仔细检查DataX报告的脏数据日志信息,或者调整脏数据阈值。 解决方法: 检查DataX报告的脏数据日志信息,找出脏数据的具体原因。根据脏数据的原因,调整脏数据阈值。在DataWorks同步脚本中,可以通过设置dirty_data_threshold参数来调整脏数据阈值。例如&#x...

问答 2023-10-29 来自:开发者社区

DataWorks这是个从sls数据集成进来的表,分区从23日起因日志增多而数据量上升这是正常的吗?

DataWorks这是个从sls数据集成进来的表,分区从23日起因日志增多而数据量上升,但存储量却大幅度下降,这是正常的吗?

问答 2023-09-17 来自:开发者社区

DataWorks数据集成的日志不能看了吗?

DataWorks数据集成的日志不能看了吗?我看今天产生的日志打开提示:{"requestId":"0a98a44116945953238936230ebdc2","data":null,"errMsg":"系统内部错误 RequestId[0a98a44116945953238936230ebdc2] Error: Run intance encounter problems, reason:....

问答 2023-08-21 来自:开发者社区

你好,我在Dataworks中配了数据集成任务自动调度起来观察日志并没有报脏数据,但是存在部分字段?

你好,我在Dataworks中配了数据集成(odps -> elasticsearch update模式),任务自动调度起来观察日志并没有报脏数据,但是存在部分字段没有更新到,我应该怎么判断具体是什么原因导致的?补充:任务运行了好几天了,我指定更新了10个字段,ES中有的10个字段都更新到了,有的可能只更新到了8个字段。并发:2,BatchSize:256

问答 2023-07-30 来自:开发者社区

DataWorks新加坡数据集成后台在16点左右有啥变更的么?

DataWorks新加坡数据集成后台在16点左右有啥变更的么?我这实时同步全部出现问题,查看日志说是表没权限,这些表都是数据集成自己建的表?这个表是我在holo的表,没权限了,这表是数据集成自己建的,怎么会出现自己建的表都没权限了,我们都没操作过,在16点的时候突然就全部出问题了

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。

+关注
X