阿里云文档 2025-02-17

Spark SQL交互式查询

如果您需要以交互式方式执行Spark SQL,可以指定Spark Interactive型资源组作为执行查询的资源组。资源组的资源量会在指定范围自动扩缩容,在满足您交互式查询需求的同时还可以降低使用成本。本文为您详细介绍如何通过控制台、Hive JDBC、PyHive、Beeline、DBeaver等客户端工具实现Spark SQL交互式查询。

阿里云文档 2024-12-05

调用GetSparkAppLog查询Spark应用日志

查询Spark应用的日志。

阿里云文档 2024-12-05

调用GetSparkAppState查询Spark应用的状态

查询Spark应用的状态。

阿里云文档 2024-12-05

调用GetSparkAppInfo查询Spark应用的信息

查看Spark应用的信息。

阿里云文档 2024-07-30

通过Java SDK开发Spark应用

云原生数据仓库 AnalyticDB MySQL 版集群支持通过Java SDK开发Spark应用和Spark SQL作业。本文介绍通过Java SDK提交Spark作业、查询Spark作业的状态和日志信息、结束Spark作业以及查询Spark历史作业的操作步骤。

问答 2022-02-15 来自:开发者社区

JindoFS查询加速和spark查询得出什么结论?

JindoFS查询加速和spark查询得出什么结论?

问答 2022-02-15 来自:开发者社区

查询Yarn and Spark

我需要使用spark将数据从Hive(已分区)导出到Teradata(非分区)。 集群规范:120个工作节点,每个节点有16个核心处理器,128 GB RAM。表大小约为130GB,当我从中创建数据帧时,它会产生1,30,000个分区。 val df=spark.sql("select * from ") df.mode(SaveMode.Append).write.jdbc(,,)我使用下面的....

问答 2022-02-15 来自:开发者社区

如何使用条件查询Spark MongoDB-Connector?

最近我尝试使用官方文档中的 MongoDB-Connector,JavaMongoRDD rdd = MongoSpark.load(jsc);但演示将加载我的集合中的所有数据,我只想在我的java或scala代码中运行此命令 db.pointer.find({"inserttime":{$lt:new Date(2018,0,4,7,0,10),$gte:new Date(2018,0,4...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等