AI 助理
备案控制台
问答 2024-07-02 来自：开发者社区

在DMS中是否有单独执行Spark SQL预览查询结果的功能，而不是执行整个任务并写入表？

在DMS中是否有单独执行Spark SQL预览查询结果的功能，而不是执行整个任务并写入表？

问答 2024-06-25 来自：开发者社区

云数据仓库ADB中dms任务编排中spark开发，spark能不能集成adb直接读里面的表？

云数据仓库ADB中dms任务编排中spark开发，spark能不能集成adb直接读里面的表，类似spark on hive？

问答 2023-11-12 来自：开发者社区

请问spark引擎是可以直接访问大数据计算MaxCompute表的么？

请问spark引擎是可以直接访问大数据计算MaxCompute表的么？我尝试了spark2.3也不行

问答 2023-11-12 来自：开发者社区

请问大数据计算MaxCompute spark引擎为什么读不到maxcompute上面的表呢？

请问大数据计算MaxCompute spark引擎为什么读不到maxcompute上面的表呢？是我漏配置了什么参数么？

文章 2023-10-10 来自：开发者社区

聊聊 Spark 作业的 commit 提交机制 - Spark并发更新ORC表失败的问题原因与解决方法

1 问题现象多个Spark 作业并发更新同一张ORC表时，部分作业可能会因为某些临时文件不存在而失败退出，典型报错日志如下：org.apache.spark.SparkException: Job aborted. Caused by: java.io.FileNotFoundException: File hdfs://kxc-cluster/user/hive/warehouse/hstes....

聊聊 Spark 作业的 commit 提交机制 - Spark并发更新ORC表失败的问题原因与解决方法
问答 2023-10-01 来自：开发者社区

DataWorks使用spark读取maxcomputer的表进行count的时候为什么报错?

DataWorks使用spark读取maxcomputer的表进行count的时候为什么报错，unsupported type？

问答 2023-01-09 来自：开发者社区

为什么 DataWorks ODPS spark pyspark 查询不到表。提示table不存在？

为什么 DataWorks ODPS spark pyspark 查询不到表。提示table不存在？

问答 2022-11-21 来自：开发者社区

spark写入hudi表时同步创建hive表映射，结果hive是张空表，查询不到数据

##一、版本 hudi-0.12.0，spark-3.1.2，hadoop-3.3.0 ##二、问题描述 ###目的： 使用spark-shell，创建一些数据，写入hudi表，写入的同时同步给hive，将数据映射为hive表，实现hudi和hive的双写； ###结果： 能成功的创建hive表，但是张空表，查询不出数据；但是使用sparkSQL查询反而正常； 三、spark-shell hud....

问答 2022-08-18 来自：开发者社区

Spark 读取Maxcompute 中的表进行处理，怎么弄？

Spark 读取Maxcompute 中的表进行处理，怎么弄？

文章 2022-05-27 来自：开发者社区

SQL、Pandas和Spark：如何实现数据透视表？

01 数据透视表简介数据透视表，顾名思义，就是通过对数据执行一定的"透视"，完成对复杂数据的分析统计功能，常常伴随降维的效果。例如在Excel工具栏数据透视表选项卡中通过悬浮鼠标可以看到这样的描述：在上述简介中，有两个关键词值得注意：排列和汇总，其中汇总意味着要产生聚合统计，即groupby操作；排列则实际上隐含着使汇总后的结果有序。当然，如果说只实现这两个需求还不能完全表达出数据透视表与常规的....

SQL、Pandas和Spark：如何实现数据透视表？

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注