使用Hive扩展功能记录数据血缘
E-MapReduce集群默认在Hive服务上集成了EMR-HOOK。EMR-HOOK可以收集作业的SQL信息，例如数据血缘、访问频次等。通过EMR-HOOK，您可以利用数据湖构建（DLF）的数据概况，以统计表和分区的访问次数。同时，您也可以使用DataWorks来管理数据血缘。本文将为您介绍如何配置Hive服务的EMR-HOOK。
使用Spark高效将数据从Hive写入Redis (功能最全)
使用Spark高效将数据从Hive写入Redis(功能最全) 在大数据时代，不同存储和处理系统之间高效地传输数据至关重要。Apache Spark作为一款强大的分布式计算框架，能够实现各种数据源和目的地之间的无缝集成。在本篇博文中，我们将探讨如何利用Spark从Hive读取数据并高效地写入Redis，这是一种流行的内存数据存储。 问题介绍 在实际场景中，经常需要将存储在H...
EMR各版本中Hive相对开源版本增强了哪些功能
本文为您介绍E-MapReduce（简称EMR）各版本对应的Hive组件版本，以及各版本中Hive相对开源增强的功能。
实战：Flink 1.12 维表 Join Hive 最新分区功能体验
我们生产常有将实时数据流与 Hive 维表 join 来丰富数据的需求，其中 Hive 表是分区表，业务上需要关联上 Hive 最新分区的数据。上周 Flink 1.12 发布了，刚好支撑了这种业务场景，我也将 1.12 版本部署后做了一个线上需求并上线。对比之前生产环境中实现方案，最新分区直接作为时态表提升了很多开发效率，在这里做一些小的分享。 ● Flink 1.12 前关联 Hive 最新....
请问：hive中avg聚合函数会使用到combiner功能吗？
例如下面这条SQL， 肯定是用上了combiner功能的 select deptno, sum(sal) as sum_sal from emp group by deptno hive (test)> explain select deptno, sum(sal) as sum_sal from emp group by deptno; OK Explain STAGE DEPEN...
hive2solr multivalue功能实现
之前介绍了github上的hive2solr项目和solr的multivalue功能。 线上我们是采用hive计算完数据后推送到solr的方法，如果需要实现multivalue的话，默认的hive2solr是有些问题的。即使在hive中对于的field是多个字，导入solr之后也只是一个整体的字符串，比如下面表的数据如下： 1 2 id &...
Hadoop Hive概念学习系列之hive里的优化和高级功能（十四）
在一些特定的业务场景下，使用hive默认的配置对数据进行分析，虽然默认的配置能够实现业务需求，但是分析效率可能会很低。 Hive有针对性地对不同的查询进行了优化。在Hive里可以通过修改配置的方式进行优化。 以下，几种方式调优的属性。 1、列裁剪 在通过Hive读取数据的时候，并不是所有的需求都要获取表内的所有的数据。有些只需要读取所有列中的几列，而忽略其他列的的数据。 例如...
使用Hive UDF和GeoIP库为Hive加入IP识别功能
导读：Hive是基于Hadoop的数据管理系统，作为分析人员的即时分析工具和ETL等工作的执行引擎，对于如今的大数据管理与分析、处理有着非常大的意义。GeoIP是一套IP映射库系统，它定时更新，并且提供了各种语言的API，非常适合在做地域相关数据分析时的一个数据源。 Hive是基于Hadoop的数据管理系统，作为分析人员的即时分析工具和ETL等工作的执行引擎，对于如今的大数据管理与分析、处理...
Hive中实现group concat功能（不用udf）
Hive中实现group concat功能（不用udf） Sql代码 hive> desc t; OK id string str string Time taken: 0.249 seconds hive> select...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。