问答 2024-03-19 来自:开发者社区

datawork 支持数据集成 mc数据同步到 mysql分库分表吗?

datawork 支持数据集成 mc数据同步到 mysql分库分表吗?

问答 2024-02-14 来自:开发者社区

DataWorks数据集成同步分库分表能把元数据的库名表名同步过来吗?

DataWorks数据集成同步分库分表能把元数据的库名表名同步过来吗?

问答 2023-10-24 来自:开发者社区

DataWorks数据集成的分库分表实时同步产生的 三个节点分别是什么作用?

DataWorks数据集成的分库分表实时同步产生的 checkStreamXDone,fullDataInitSuccessCheckDone,mergeInto 三个节点分别是什么作用?有没有相关文档说明?

阿里云文档 2023-09-19

如何通过数据集成同步分库分表数据至MaxCompute

本文以MySQL分库分表实时写入MaxCompute场景为例,为您介绍如何通过数据集成同步分库分表数据至MaxCompute。

文章 2023-05-22 来自:开发者社区

带你读《全链路数据治理-全域数据集成》之27:1.背景信息

五、分库分表至 Hologres 最佳实践概述:DataWorks 数据集成是阿里云数据上云的核心枢纽,提供了功能丰富强大的一站式实时数据同步能力,满足实时数据实时入仓入湖的需求。 本文将以 MySQL 分库分表实时写入实时数仓 Hologres 场景为例,为您介绍分库分表写入 Hologres 数据集成最佳实践。 1. 背景信息1) 业务诉求MySQL 分库分表的场景下,上游的表和库非常多,都....

带你读《全链路数据治理-全域数据集成》之27:1.背景信息
文章 2023-05-22 来自:开发者社区

带你读《全链路数据治理-全域数据集成》之28:2. 使用限制

2. 使用限制 l 目前仅支持 MySQL/PolarDB for MySQL 单实例同步。 l 需要使用 DataWorks 独享数据集成资源组。

文章 2023-05-22 来自:开发者社区

带你读《全链路数据治理-全域数据集成》之29:3. 准备工作:添加数据源

3. 准备工作:添加数据源1) 新建 MySQL 数据源如果您的数据源,为云上 RDS 数据库,可以选择创建阿里云实例类型。 如果您的数据源为 ECS 自建或 IDC 内,可以选择公网或 ECS 自建数据库类型。点击要同步该数据源的数据集成独享资源组测试连通性,确保数据源连通状态为“可连通”。2) 新建 Hologres 数据源测试连通性通过,并保存。

带你读《全链路数据治理-全域数据集成》之29:3. 准备工作:添加数据源
文章 2023-05-22 来自:开发者社区

带你读《全链路数据治理-全域数据集成》之30:4. 配置任务(上)

4. 配置任务1) 创建同步任务在 DataWorks 管控台进入数据集成主站,点击同步任务,新建任务。 选择 Hologres 整库全增量解决方案。、2) 选择表并刷新表映射l 左侧勾选源端需要同步的表 table_a_001、table_a_002、table_b_001、table_b_002。 l 通过穿梭框选中后移动至右侧。 l 点击批量刷新映射按钮。 提示: l 目标端 Schema....

带你读《全链路数据治理-全域数据集成》之30:4. 配置任务(上)
文章 2023-05-22 来自:开发者社区

带你读《全链路数据治理-全域数据集成》之30:4. 配置任务(下)

《全链路数据治理-全域数据集成》——五、分库分表至 Hologres 最佳实践——4. 配置任务(上):https://developer.aliyun.com/article/12229644) 配置附加字段 分库表至 Hologres 最佳实践 可以看到表格中,附加字段列编辑按钮后有黄色感叹号标识,表示有附加字段配置。 点击单表的编辑按钮,查看指定表的附加字段配置,可以验证批量添加附加字段是....

带你读《全链路数据治理-全域数据集成》之30:4. 配置任务(下)
文章 2023-05-22 来自:开发者社区

带你读《全链路数据治理-全域数据集成》之31:5. 任务运维

5. 任务运维1) 查看任务状态可以看到任务已经处于运行中状态,点击执行概况,可以进入任务运维页面。查看结构迁移状态。 结构迁移表格数据说明: l 目标对接方式:自动建表使用已有表。l DDL 列:鼠标悬浮可以查看建表的 SQL 语句。 l 状态列值:执行中、成功、失败,如状态为失败,鼠标悬浮可查看失败原因。 查看全量初始化状态。 全量初始化表格数据说明: l 全量进度,表示该表的全量初始化任务....

带你读《全链路数据治理-全域数据集成》之31:5. 任务运维

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

+关注