文章 2021-08-17 来自:开发者社区

DataWorks熟能生巧系列直播第五期:数据集成批量生成同步任务

分享人:DataWorks技术支持团队我们在开发者社区学习路线里有发布一个DataWorks的学习路线,里面包含了入门讲解和熟能生巧系列的直播内容,大家可以去学习一下,需要主账号登陆学习哦:https://developer.aliyun.com/learning/course/81本期视频地址:https://developer.aliyun.com/learning/course/81/de....

DataWorks熟能生巧系列直播第五期:数据集成批量生成同步任务
文章 2020-09-16 来自:开发者社区

DataWorks百问百答66:数据集成如何快速配置分表同步任务?

源端Mysql库里,分表(表结构一致,表名前缀一致,且后缀递增)的数据如何快速进行同步任务配置。比如Mysql库中有表“demo1”、“demo2”...“demo500”,这五百张表的表结构完全一致,但表名不一致,在配置mysql同步任务时,是需要将500个表名都写在表名这一列里吗?解法:在脚本模式中,Reader部分,connection里,找到table这一列,然后通过 "table":[....

文章 2020-02-05 来自:开发者社区

DataWorks数据集成任务切分键妙用

一、数据集成任务切分键探索 对于数据集成任务,这些任务的时间消耗一般都主要花费在数据同步上,当查询表数据量较大时,其SQL本身在数据库中查询就是很慢的,那么对于这种情况有说明好的优化方法呢? 数据集成任务上提供了一个切分键的设置,那么该切分键是否可以对源库SQL查询有一定的提升,进而提高数据同步任务的整体效率呢? 切分键:可以将源数据表中某一列作为切分键建议使用主键或有索引的列作为切分键 1、.....

DataWorks数据集成任务切分键妙用
文章 2019-01-29 来自:开发者社区

DataWorks上数据集成任务如何解决网络问题

特别声明:本文介绍的场景是各种网络环境下的数据库该如何将数据上云(同步的目标端为MaxCompute),若同步的目标端为其他数据源,本文也可参考,底层执行原理基本一致。 网络背景(全局通用) 在讲网络问题的解决方案之前,先给大家讲讲阿里云上的网络背景。 同一region下,经典网络环境中的机器与经典网络环境中的机器,内网是可以互通的。 同一region下,VPC网络环境中的机器与VPC网络环境.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

大数据开发治理平台 DataWorks任务相关内容

大数据开发治理平台 DataWorks更多任务相关

产品推荐

DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等