阿里云文档 2025-02-14

DataWorks数据集成实时ETL支持字段编辑与赋值组件使用

DataWorks数据集成实时ETL支持字段编辑与赋值组件使用,可以在来源与去向组件间新增字段编辑与赋值组件按配置的过滤规则,进行新增字段的编辑和赋值。

阿里云文档 2022-11-07

获取当前时间写入到目标表,运行成功后,查询该字段显示为空

问题描述Dataphin数据集成新建字段,获取当前时间将时间写入到目标表,任务运行成功后,查询目标表该字段数据显示为空。问题原因Dataphin仅支持MaxCompute 1.0 的数据类型,目标字段的数据类型是DATE不支持。解决方案将目标字段类型切换为DATETIME类型即可。适用于Dataph...

阿里云文档 2022-05-25

Dataphin管道任务将Oracle数据集成到MaxCompute时,运行报错:\"java.lang.NullPointerException:null、[DlinkTrans-字段计算_1]ERRORDlinkTaskPluginCollector-脏数据\"

问题描述配置管道任务将Oracle数据库集成到MaxCompute数据库,使用“字段计算”组件中MD5函数将字段CUST_NO进行加密之后,任务运行报空指针和脏数据的错误,具体异常堆栈信息如下:2021-09-07 17:40:10.446 [0-0-0-reader] INFO  CommonRd...

文章 2022-01-14 来自:开发者社区

数据集成模块转换组件之字段选择介绍

作者:坚乃在数据集成的过程中,在一些场景下,需要选择哪些字段进行数据集成,字段选择组件可用于对上游字段进行字段筛选、重命名、调整字段顺序,本文将介绍如何进行字段选择组件的配置。1 组件说明对上游字段进行字段筛选、重命名、调整字段顺序。2 原理说明根据字段选择组件的配置对上游的数据根据字段名进行过滤、重命名、调整字段顺序,并将新的输出传递下游2 使用说明如上图所示可以对输出字段进行配置、分别可以修....

数据集成模块转换组件之字段选择介绍
文章 2022-01-14 来自:开发者社区

数据集成模块转换组件之字段计算介绍

作者:坚乃在数据集成的过程中,在一些场景下,需要新增一些字段,字段计算组件可用于增加自定义字段,本文将介绍如何进行字段计算组件的配置。1 组件说明用于增加自定义字段。2 原理说明系统内置较为丰富的函数算子,包括日期类、字符串类、数学函数等常用的算子。可基于上游字段衍生新的字段,也可以生成常量等。3 使用说明当字段计算组件链接下游输出组件时,点击属性配置进行设置如上图所示、分别可以配置步骤名称、输....

数据集成模块转换组件之字段计算介绍
阿里云文档 2021-09-28

问题描述Dataphin配置集成任务,当来源表字段中的数据存在空格时会同步失败。2021-09-26 11:04:50.998 [0-0-0-reader] ERROR DlinkTaskPluginCollector - 脏数据:  {"message":"类型转换错误, 无法将[        ...

阿里云文档 2021-07-02

Dataphin数据集成输入和输出字段间无法建立映射关系

产品名称Dataphin产品模块数据集成概述提供数据集成中输入表字段和输出表字段映射不上问题的排查思路问题描述管道集成时,字段映射有问题,有些字段可以映射上、有些映射不上,不管是同名映射还是同行映射都会出现:问题原因表字段名中有空格或者字段名称太长超出数据库限制范围导致。解决方案注意排查字段中是否有...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

+关注