阿里云文档 2025-04-28

RDS SQL Server冷热数据分离最佳实践

本文介绍了通过RDS云盘实现数据存储结构优化和冷热数据分离的实践方案。适用于数据量庞大、对成本敏感或对数据访问性能有分层需求等业务场景。冷热数据分离不仅能有效降低存储成本,还能确保关键数据的快速访问,优化资源利用。通过将低频访问的冷数据归档至成本更低的对象存储服务OSS,同时将高频访问的热数据保留在云盘上,从而达到数据管理的成本效益和高效率。

阿里云文档 2025-04-17

通过Spark SQL读写SQL Server数据

云原生数据仓库 AnalyticDB MySQL 版支持提交Spark SQL作业,您可以通过View方式访问自建SQL Server数据库或云数据库 RDS SQL Server 版数据库。本文以云数据库 RDS SQL Server 版为例,介绍如何通过Spark SQL访问SQL Server数据。

阿里云文档 2025-03-24

通过Spark SQL读DLF管理的数据

数据湖构建 DLF(Data Lake Formation)提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力,您可以在云原生数据仓库 AnalyticDB MySQL 版中通过Spark SQL访问DLF中的元数据。

阿里云文档 2025-01-10

使用SQL查询存在数据延迟问题

问题现象在新增或更新数据后,使用SQL查询数据时无法立即获取最新数据,存在一定的延迟现象。可能原因在为数据表创建多元索引后,使用SQL查询数据时,如果多元索引包含SQL中涉及的所有数据列,则SQL引擎将自动选择该多元索引进行数据查询。更多信息,请参见索引选择策略。索引选择策略而多元索引中的数据可能存...

阿里云文档 2024-08-16

通过Spark SQL读写AWS S3外表

本文主要介绍如何在云原生数据仓库 AnalyticDB MySQL 版(AnalyticDB for MySQL)中使用Spark SQL读写AWS S3中的数据。

问答 2024-01-09 来自:开发者社区

各位有没有遇到过spark sql查询hudi 数据时没有办法查到flink cdc ?

各位有没有遇到过spark sql查询hudi 数据时没有办法查到flink cdc 同步到hudi实时数据的变化,用hive是没有问题的。但是我重开一个spark sql客户端数据就能发现变化了?

文章 2023-12-06 来自:开发者社区

Spark SQL【基于泰坦尼克号生还数据的 Spark 数据分析处理】

前言        昨天实验课试着做了一个 Spark SQL 小案例,发现好多内容还是没有掌握,以及好多书上没有的内容需要学习。一、数据准备csv 文件内容部分数据展示:PassengerId,Survived,Pclass,Name,Sex,Age,SibSp,Parch,Ticket,Fare,Cabin,Embarked 1,0,3,"Braund....

文章 2023-05-31 来自:开发者社区

基于Spark SQL的数据探索

一、实验目的掌握Spark SQL的探索性数据分析技术。二、实验内容1、进行探索性数据分析。  2、探索性数据可视化。  3、对数据进行采样。  4、创建数据透视表。三、实验原理Exploratory Data Analysis (EDA),或Initial Data Analysis (IDA),是一种数据分析方法,试图最大限度地洞察数据。这包括评估数据的质量和结构,计算汇总或描述性统计,以及....

基于Spark SQL的数据探索
问答 2023-01-09 来自:开发者社区

spark sql处理的数据变成科学计数,请问有什么函数可以转换成正常的0.156....这种数据

spark sql处理的数据变成科学计数,请问有什么函数可以转换成正常的0.156....这种数据

问答 2022-09-16 来自:开发者社区

跨库spark SQL 搞不定,数据从a库查询的结果,存入b库的表中

跨库spark SQL 搞不定,数据从a库查询的结果,存入b库的表中

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

数据库

分享数据库前沿,解构实战干货,推动数据库技术变革

+关注