spark SQL rdd 的相关内容

阿里云文档 2025-02-17

Spark SQL交互式查询

如果您需要以交互式方式执行Spark SQL，可以指定Spark Interactive型资源组作为执行查询的资源组。资源组的资源量会在指定范围自动扩缩容，在满足您交互式查询需求的同时还可以降低使用成本。本文为您详细介绍如何通过控制台、Hive JDBC、PyHive、Beeline、DBeaver等客户端工具实现Spark SQL交互式查询。

阿里云文档 2025-02-07

ADB Spark SQL的使用

DataWorks的ADB Spark SQL节点可进行AnalyticDB Spark SQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用ADB Spark SQL节点进行任务开发的主要流程。

阿里云文档 2024-10-17

通过Spark SQL读写Azure Blob Storage外表

本文主要介绍如何在云原生数据仓库 AnalyticDB MySQL 版中使用Spark SQL读写Azure Blob Storage中的数据。

文章 2024-10-14 来自：开发者社区

大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL

点一下关注吧！！！非常感谢！！持续更新！！！目前已经更新到了： Hadoop（已更完） HDFS（已更完） MapReduce（已更完） Hive（已更完） Flume（已更完） Sqoop（已更完） Zookeeper（已更完） HBase（已更完） Redis （已更完） Kafka（已更完） ...

阿里云文档 2024-10-14

Spark SQL诊断优化

云原生数据仓库 AnalyticDB MySQL 版推出Spark SQL诊断功能，若您提交的Spark SQL存在性能问题，您可以根据诊断信息快速定位、分析并解决性能瓶颈问题，优化Spark SQL。本文主要介绍如何进行Spark SQL性能诊断以及性能诊断的示例。

阿里云文档 2024-09-06

通过Spark SQL读DLF管理的数据

数据湖构建 DLF（Data Lake Formation）提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，您可以在云原生数据仓库 AnalyticDB MySQL 版中通过Spark SQL访问DLF中的元数据。

文章 2023-12-06 来自：开发者社区

Spark【Spark SQL（二）RDD转换DataFrame、Spark SQL读写数据库】

从 RDD 转换得到 DataFrameSaprk 提供了两种方法来实现从 RDD 转换得到 DataFrame：利用反射机制推断 RDD 模式使用编程方式定义 RDD 模式下面使用到的数据 people.txt ：Tom, 21 Mike, 25 Andy, 181、利用反射机制推断 RDD 模式在利用反射机制推断 RDD 模式的过程时，....

文章 2023-05-08 来自：开发者社区

Spark SQL实战(06)-RDD与DataFrame的互操作

val spark = SparkSession.builder()  .master("local").appName("DatasetApp")  .getOrCreate()Spark SQL支持两种不同方法将现有RDD转换为DataFrame：1 反射推断包含特定对象类型的 RDD 的schema。这种基于反射的方法可以使代码更简洁，在编写 Spark 应用程序时已知....

问答 2022-02-15 来自：开发者社区