文章 2025-03-26 来自:开发者社区

【YashanDB知识库】DataX迁移Hive到崖山分布式

本文内容来自YashanDB官网,原文内容请见 https://www.yashandb.com/newsinfo/7441390.html?templateId=1718516 概述 本文主要介绍通过Datax实现Hive数据迁移到崖山分布式。 环境 源Hive版本:3.1.3 目标YashanDB版本:23.2.3.100 建表脚本 -- hive CREATE TABLE IF NOT .....

【YashanDB知识库】DataX迁移Hive到崖山分布式
问答 2024-07-01 来自:开发者社区

在Dataphin中数据集成中,hive输出组件支持动态分区吗?

在Dataphin中数据集成中,hive输出组件支持动态分区吗?

问答 2024-06-11 来自:开发者社区

DataWorks数据集成Hive Reader

DataWorks数据集成Hive Reader

问答 2024-06-02 来自:开发者社区

DataWorks数据集成的Hive数据源测试连通性报principal initiate f...

DataWorks数据集成的Hive数据源测试连通性报principal initiate failed

问答 2024-05-29 来自:开发者社区

DataWorks数据集成hive是不支持数组

DataWorks数据集成hive是不支持数组

问答 2024-03-11 来自:开发者社区

DataWorks数据集成中,使用的用户为hive用户,和配置的用户(root)不一致,如何解决?

DataWorks数据集成中,当数据的目的端是hive,发现在进行hive分区truncate操作的时候,datax的临时文件移动到hive分区表目录下时,使用的用户为hive用户,和配置的用户(root)不一致,导致文件操作权限不足,报错。目前数据集成writer端相关配置均为root。 1) "hdfsUsername":"root" 2)"jvmOption":"-DHADOOP_...

问答 2024-02-25 来自:开发者社区

DataWorks数据集成中,当数据的目的端是hive,如何设置写入hive的用户为指定用户呢?

DataWorks数据集成中,当数据的目的端是hive,如何设置写入hive的用户为指定用户呢?目前在hive数据源配置了user为root,但实际写入的还是admin用户?

问答 2024-01-23 来自:开发者社区

DataWorks中datax 从hive(parquet格式) 到mysql 报错?

DataWorks中datax 从hive(parquet格式) 到mysql 报错?

文章 2023-12-25 来自:开发者社区

DataX读取Hive Orc格式表丢失数据处理记录

问题 问题概述 DataX读取Hive Orc存储格式表数据丢失 问题详细描述 同步Hive表将数据发送到Kafka,Hive表A数据总量如下 SQL:select count(1) from A; 数量:19397281 使用DataX将表A数据发送到Kafka,最终打印读取数据量为12649450 任务总计耗时 : ...

DataX读取Hive Orc格式表丢失数据处理记录
文章 2023-10-10 来自:开发者社区

如何更改 datax 以支持hive 的 DECIMAL 数据类型?

如何更改 datax 以支持hive 的 DECIMAL 数据类型?1. JAVA 数据类型 - float/double 与 BigDecimal大家知道,JAVA中可以用来存储小数的数字类型,主要包括:基本数据类型 float/double;基本数据类型的对应包装类 java.lang.Float/java.lang.Double;java.math 包下的类 java.math.BigDe....

如何更改 datax 以支持hive 的 DECIMAL 数据类型?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者,DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论,同时与数万名政务/金融/零售/互联网/能源/制造等客户携手,助力产业数字化升级。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等