问答 2024-08-20 来自:开发者社区

在传统数仓基于Hive表的实现中,处理SCD场景存在哪些主要问题?

在传统数仓基于Hive表的实现中,处理SCD场景存在哪些主要问题?

问答 2024-05-14 来自:开发者社区

想问下有没有大佬尝试过Flink SQL,在kinit场景下批写hive表的呢?

想问下有没有大佬尝试过Flink SQL,在kinit场景下批写hive表的呢?我这里用的是Flink1.18.1 + hive 3.1.3,测试下来【流读】【流写】【批读】hive都没有问题,仅在【批写】场景下,所有Task Finish后JM无法初始化HiveMetaStoreClient,报错【GSS initiate failed】,进而报错【Failed to finalize exe....

文章 2023-10-12 来自:开发者社区

【通过Hive清洗、处理和计算原始数据,Hive清洗处理后的结果,将存入Hbase,海量数据随机查询场景从HBase查询数据 】

Hive的安装与配置Hive 是一个基于 Hadoop 的数据仓库工具,可以将结构化数据映射到 Hadoop 的分布式存储上,并提供类 SQL 的查询语言 HiveQL,方便用户进行数据处理和分析。下面是 Hive 的安装和配置步骤:1. 安装 JDKHive 是一个基于 Java 的工具,需要先安装 JDK。请确保已经安装了 JDK 并设置了 JAVA_HOME 环境变量。2. 下载和安装 H....

问答 2023-09-19 来自:开发者社区

Flink CDC这个权限问题的么,场景是从Kafka -> hive ,通过FlinkSQL实现?

Flink CDC这个权限问题的么,场景是从Kafka -> hive ,通过FlinkSQL实现,在dolphinscheduler调度。Permission denied: user=dolphinscheduler, access=READ, inode="/warehouse/tablespace/managed/hive/":hdfs:hadoop:drwxrwx---?

问答 2023-07-31 来自:开发者社区

有没有兄弟用了flink cdc目的端到hive的场景?

有没有兄弟用了flink cdc目的端到hive的场景?

文章 2023-07-17 来自:开发者社区

Hadoop生态系统中的数据查询与分析技术:Hive和Pig的比较与应用场景

Hadoop是一个开源的分布式计算平台,用于存储和处理大规模数据集。它的生态系统中有许多数据查询和分析技术,其中Hive和Pig是两个常用的工具。本文将从比较和应用场景两个方面介绍Hive和Pig。 首先,我们来看一下Hive。Hive是一个基于Hadoop的数据仓库工具,它允许用户使用类似于SQL的查询语言(HiveQL&#...

文章 2023-06-28 来自:开发者社区

大数据大比拼:Hive vs HBase,你知道两者的区别和适用场景吗?

Apache Hive和Apache HBase是两个非常流行的分布式数据存储技术。尽管两者都是Apache软件基金会的项目,但它们被设计用于不同的用例。在本篇博客中,我们将介绍Hive和HBase的基本概念,以及它们的区别和应用场景。HiveApache Hive是一种基于Hadoop的数据仓库软件,它允许用户使用SQL来查询和管理存储在Hadoop分布式文件系统(HDFS)上的大型数据集。H....

问答 2023-01-15 来自:开发者社区

RDS什么场景用presto呢?如果presto很高效,hive,spark对比优劣

RDS什么场景用presto呢,如果presto很高效,hive,spark对比优劣,以及使用场景是什么呢?

问答 2022-11-23 来自:开发者社区

问下哈,我现在场景是从kafka接数据源一份到hive一份测流到mq。但是hive sql提交得ta

问下哈,我现在场景是从kafka接数据源一份到hive一份测流到mq。但是hive sql提交得tableapi和stream提交只能运行一个,如何能同时提交两条流

文章 2022-07-23 来自:开发者社区

BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略

导读:最近几天,有很多很多的网友留言都在咨询——如何学习大数据开发,以及如何跟上大数据时代而不被抛弃。今天周末,博主花了一段时间,统一采用本文章,以Hadoop生态系统布局进行回答,欢迎网友留言提建议。首先,大数定理告诉我们,在试验不变的条件下,重复试验多次,随机事件的频率近似于它概率。“有规律的随机事件”在大量重复出现的条件下,往往呈现几乎必然的统计特性。其次,大数据的主要价值——辅助决策。利....

BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐