AI 助理
备案控制台
问答 2019-03-18 来自：开发者社区

请教各位一个问题，使用spark读写Kudu数据，如果使用spark_kudu 1.9.0的包可以读取Kudu表的数据，创建KuduContext会报错：java.lang.IllegalStateException。如果使用1.7.0或者1.8.0的jar包，无法读数据，会报错：java.lang.ClassNotFoundException: kudu.DefaultSource。这是为啥啊

请教各位一个问题，使用spark读写Kudu数据，如果使用spark_kudu 1.9.0的包可以读取Kudu表的数据，创建KuduContext会报错：java.lang.IllegalStateException。如果使用1.7.0或者1.8.0的jar包，无法读数据，会报错：java.lang.ClassNotFoundException: kudu.DefaultSource。这是为啥啊

问答 2018-12-21 来自：开发者社区

有没有办法优化使用pandas读取TSV文件，转换并使用spark写入表的代码？

df_pandas = pd.read_csv('filepath/filename' , delimiter='t' , encoding = 'utf-8', error_bad_lines=False ) #defining the schema for the spark dataframe df_schema_file = StructType([StructField("Col1",....

问答 2018-12-19 来自：开发者社区

当数据存储在对象存储中时，从Spark SQL访问Hive表

我使用spark数据帧编写器在IBM Cloud Object Storage中以parquet 格式在内部hive表中编写数据。所以，我的hive Metastore在HDP集群中，我从HDP集群运行spark作业。此spark作业将数据以parquet 格式写入IBM COS。这就是我开始saprk session的方式 SparkSession session = SparkSession....

问答 2018-12-19 来自：开发者社区

如何使用Spark JDBC数据源设置表编码？

我正在使用Spark JDBC将数据提取到Mysql表中。如果表不存在，它也会创建一个表。许多文本都有特殊字符。如果遇到任何特殊字符，摄取失败。我通过手动将CHARACTER SET utf8设置为MySQL表来解决了这个问题。 这是否可以在spark JDBC中创建表时设置CHARACTER SET utf8？ 我正在使用DataFrames将数据保存到MySQL中。 object Tweet....

问答 2018-12-19 来自：开发者社区

scala spark rdd joing两个具有相同id的表

scala spark rdd joing两个具有相同id的表我有以下rdds：case class Rating(user_ID: Integer, movie_ID: Integer, rating: Integer, timestamp: String)case class Movie(movie_ID: Integer, title: String, genre: String)我和sc....

问答 2018-10-30 来自：开发者社区

请问flink 能像spark那样直接对hive表进行查询和计算吗？

转自钉钉群21789141：请问flink 能像spark那样直接对hive表进行查询和计算吗？

文章 2017-12-19 来自：开发者社区

[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子

[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子 $ cat customers.txt 1 Ali us 2 Bsb ca 3 Carls mx $ hive hive>  > CREATE TABLE IF NOT EXISTS customers( > cust_id string, > name string, >...

问答 2017-10-25 来自：开发者社区

如何使用 Saprk/Spark SQL 来查询和链接表格存储中的表

使用 Saprk/Spark SQL 来查询和链接表格存储中的表 通过[backcolor=transparent] 表格存储及 [backcolor=transparent] E-MapReduce 官方团队发布的依赖包，可以直接使用 Spark 及 Spark SQL 来访问表格存储中的数据并进行数据的查询分析。 下载及安装 Spark/Spark SQL 下载版本号为 1.6....

问答 2016-06-24 来自：开发者社区

用emr，spark 读取odps中2张表。然后用B表中的字段 替换掉A表中对应的字段。 B表和A表有字段关联。然后把结果写到C表，

spark 读取odps中2张表。然后用B表中的字段 替换掉A表中对应的字段。 B表和A表有字段关联。然后把结果写到C表，目前spark odps没有多表的例子能提供一个demo吗？

文章 2014-04-29 来自：开发者社区

Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表

端口 作用 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.na...

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注