问答 2024-06-13 来自:开发者社区

MaxCompute spark SQL查询分区表数据报错java.lang.String c...

MaxCompute spark SQL查询分区表数据报错java.lang.String cannot be cast to java.lang.Integer

问答 2022-07-07 来自:开发者社区

各位,我用spark在driver广播一个string,然后在executor端用.value把广播

各位,我用spark在driver广播一个string,然后在executor端用.value把广播的值取出来封装一个单例对象。最后把单例对象的值取出打印。结果发现不是所有executor都有值,有些是null。请问一下大家遇到过这个问题吗?

文章 2022-02-17 来自:开发者社区

本地调试spark报org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor

本地调试spark,saveAsText()报错 org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor? 解决办法:将hadoop.dll删掉

问答 2022-02-15 来自:开发者社区

Apache Spark 2.0:Expression-string到orderBy()/ sort()列的降序

from pyspark.sql import functions as sFn # Note: I import Spark functions this way to avoid name collisions w/ Python. # Usage below: sFn.expr(), sFn.col(), etc. col0 = [0, 1, 2, 3]col1 = [4, 5, 6,...

问答 2022-02-15 来自:开发者社区

Spark Group By Key to(String,Iterable <String>)

我试图按键将urldata分组,其中值为字符串 样本数据 : url_3 url_2url_3 url_2url_3 url_1url_4 url_3url_4 url_1预期结果: (url_3,(url_2,url_1))(url_4,(url_3,url_1))1)加载urldata: Dataset lines = spark.read() .textFile("C:/Users/919....

问答 2018-12-11 来自:开发者社区

将List [Map <String,String>]转换为spark数据帧

我想将List [Map]转换为spark数据帧,Map的键是sname,Map的键是DataFrame的列

问答 2018-12-06 来自:开发者社区

如何将Spark列的名称作为String?

我想编写一个方法来舍入数字列而不执行以下操作:df.select(round($"x",2).as("x"))因此,我需要一个可重用的列表达式,如:def roundKeepName(c:Column,scale:Int) = round(c,scale).as(c.name)但c.name是不存在,因此上面的代码不能编译。我找到了一个解决方案ColumName:def roundKeepNam....

问答 2018-12-05 来自:开发者社区

什么spark varargs函数countDistinct首先接收一个String / Column?

spark org.apache.spark.sql.functions.countDistinct:def countDistinct(columnName: String, columnNames: String*): Columndef countDistinct(expr: Column, exprs: Column*): Column声明接收变量参数,但首先使用单个String / C....

问答 2018-12-05 来自:开发者社区

MongoDB和Spark:无法将STRING转换为TimestampType

我正在使用官方MongoDB Spark Connector从MongoDB集合中读取Spark中的数据,其代码如下: val spark = SparkSession. builder(). appName("MongoDB to SQL"). getOrCreate() val df = MongoSpark.load(spark, read...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问