阿里云文档 2025-02-17

Spark SQL交互式查询

如果您需要以交互式方式执行Spark SQL,可以指定Spark Interactive型资源组作为执行查询的资源组。资源组的资源量会在指定范围自动扩缩容,在满足您交互式查询需求的同时还可以降低使用成本。本文为您详细介绍如何通过控制台、Hive JDBC、PyHive、Beeline、DBeaver等客户端工具实现Spark SQL交互式查询。

阿里云文档 2024-11-28

通过DSW提交Spark应用

交互式建模(DSW)是PAI产品的云端机器学习开发IDE,支持多种语言及开发环境。您可以在DSW实例中连接云原生数据仓库 AnalyticDB MySQL 版集群,并通过其集成的Notebook、Terminal等开发环境编写PySpark脚本,提交Spark作业。本文为您介绍通过DSW实例提交Spark作业的具体操作步骤。

阿里云文档 2024-11-15

Spark数据合规说明

本文介绍使用云原生数据仓库 AnalyticDB MySQL 版时可能涉及的海外到中国内地的数据跨境情况。

阿里云文档 2024-10-17

通过Spark SQL读写Azure Blob Storage外表

本文主要介绍如何在云原生数据仓库 AnalyticDB MySQL 版中使用Spark SQL读写Azure Blob Storage中的数据。

文章 2024-10-14 来自:开发者社区

大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(已更完) ...

大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
阿里云文档 2024-10-14

Spark SQL诊断优化

云原生数据仓库 AnalyticDB MySQL 版推出Spark SQL诊断功能,若您提交的Spark SQL存在性能问题,您可以根据诊断信息快速定位、分析并解决性能瓶颈问题,优化Spark SQL。本文主要介绍如何进行Spark SQL性能诊断以及性能诊断的示例。

问答 2024-07-10 来自:开发者社区

云数据仓库ADB通过DMS调度AnalyticDB MySQL Spark任务-操作步骤

云数据仓库ADB通过DMS调度AnalyticDB MySQL Spark任务-操作步骤

文章 2024-06-12 来自:开发者社区

使用Apache Spark从MySQL到Kafka再到HDFS的数据转移

使用Apache Spark从MySQL到Kafka再到HDFS的数据转移 在本文中,将介绍如何构建一个实时数据pipeline,从MySQL数据库读取数据,通过Kafka传输数据,最终将数据存储到HDFS中。我们将使用Apache Spark的结构化流处理和流处理功能,以及Kafka和HDFS作为我们的数据传输和存储工具。 1、环境设置: 首先,确保在您的环境中正确安装...

使用Apache Spark从MySQL到Kafka再到HDFS的数据转移
文章 2024-05-26 来自:开发者社区

使用 Spark 抽取 MySQL 数据到 Hive 时某列字段值出现异常(字段错位)

@[toc] 源数据描述 在 MySQL 中建立了表 order_info ,其字段信息如下所示: +--------------------+------------------+------+-----+-------------------+-----------------------------+...

问答 2024-04-29 来自:开发者社区

在spark集群中通过公网访问写数据到ADB MySQL湖仓版报连接超时,是要做哪些配置吗?

在spark集群中通过公网访问写数据到ADB MySQL湖仓版报连接超时,是要做哪些配置吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注