阿里云文档 2025-02-17

Spark SQL交互式查询

如果您需要以交互式方式执行Spark SQL,可以指定Spark Interactive型资源组作为执行查询的资源组。资源组的资源量会在指定范围自动扩缩容,在满足您交互式查询需求的同时还可以降低使用成本。本文为您详细介绍如何通过控制台、Hive JDBC、PyHive、Beeline、DBeaver等客户端工具实现Spark SQL交互式查询。

阿里云文档 2025-02-07

ADB Spark SQL的使用

DataWorks的ADB Spark SQL节点可进行AnalyticDB Spark SQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用ADB Spark SQL节点进行任务开发的主要流程。

阿里云文档 2024-10-17

通过Spark SQL读写Azure Blob Storage外表

本文主要介绍如何在云原生数据仓库 AnalyticDB MySQL 版中使用Spark SQL读写Azure Blob Storage中的数据。

阿里云文档 2024-10-14

Spark SQL诊断优化

云原生数据仓库 AnalyticDB MySQL 版推出Spark SQL诊断功能,若您提交的Spark SQL存在性能问题,您可以根据诊断信息快速定位、分析并解决性能瓶颈问题,优化Spark SQL。本文主要介绍如何进行Spark SQL性能诊断以及性能诊断的示例。

阿里云文档 2024-09-06

通过Spark SQL读DLF管理的数据

数据湖构建 DLF(Data Lake Formation)提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力,您可以在云原生数据仓库 AnalyticDB MySQL 版中通过Spark SQL访问DLF中的元数据。

文章 2023-12-25 来自:开发者社区

Note_Spark_Day08:Spark SQL(Dataset是什么、外部数据源、UDF定义和分布式SQL引擎)

Spark Day08:Spark SQL01-[了解]-昨日课程内容回顾上次课程主要讲解3个方面内容:SparkSQL模块概述、DataFrame数据集及综合案例分析。1、SparkSQL 模块概述 - 发展史【前世今生】 Shark -> SparkSQL(1.0) -> DataFrame(1.3) -> Dataset(1.6) -> Dataset/...

Note_Spark_Day08:Spark SQL(Dataset是什么、外部数据源、UDF定义和分布式SQL引擎)
文章 2023-09-16 来自:开发者社区

大数据Spark分布式SQL引擎

1 Spark SQL CLI回顾一下,如何使用Hive进行数据分析的,提供哪些方式交互分析???方式一:交互式命令行(CLI)1.bin/hive,编写SQL语句及DDL语句方式二:启动服务HiveServer2(Hive ThriftServer2)1.将Hive当做一个服务启动(类似MySQL数据库,启动一个服务),端口为100002.1)、交互式命令行,bin/beeline,CDH 版....

大数据Spark分布式SQL引擎
问答 2022-05-10 来自:开发者社区

Spark SQL引擎支持了window topn排序有哪些新增功能?

Spark SQL引擎支持了window topn排序有哪些新增功能?

问答 2022-05-10 来自:开发者社区

Spark3.0对SQL引擎进行了哪些优化?

Spark3.0对SQL引擎进行了哪些优化?

文章 2018-11-20 来自:开发者社区

扩展Spark Catalyst,打造自定义的Spark SQL引擎

Apache Spark是大数据处理领域最常用的计算引擎之一,被应用在各种各样的场景中,除了易用的API,稳定高效的处理引擎,可扩展性也是Spark能够得到广泛应用的一个重要原因。Spark中最常见的扩展就是基于DataSource API添加对新数据源的支持,除了Spark内置的HDFS,S3,Kafka等数据源,Parquet,Orc,Avro等数据类型,还有很多第三方的DataSource....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

数据库

分享数据库前沿,解构实战干货,推动数据库技术变革

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等