文章 2025-02-19 来自:开发者社区

美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台

作者:美的楼宇科技事业部 先行研究中心智能技术部 美的楼宇科技 IoT 数据平台建设背景 美的楼宇科技事业部(以下简称楼宇科技)是美的集团旗下五大板块之一,产品覆盖多联机组、大型冷水机组、单元机、机房空调、扶梯、直梯、货梯以及楼宇自控软件和建筑弱电集成解决方案,远销海内外200多个国家。针对当前设备数据量庞大且持续增长、数据呈现半结构化特点的现状,现有系统仅停留在数据存...

美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
阿里云文档 2025-02-18

开启Kerberos身份认证

在Serverless Spark的工作空间中,您可以配置并启用Kerberos身份认证。启用后,在该工作空间中提交Spark任务时,客户端需要进行Kerberos认证,以提升任务执行的安全性。

阿里云文档 2025-02-17

在EMR Serverless Spark中实现StarRocks读写操作

StarRocks官方提供了Spark Connector用于Spark和StarRocks之间的数据读写,Serverless Spark可以在开发时添加对应的配置连接StarRocks。本文为您介绍在EMR Serverless Spark中实现StarRocks的读取和写入操作。

阿里云文档 2025-02-14

EMR Serverless Spark资源包首购优惠公告

秉承普惠开发者的宗旨,自2025年02月10日至2026年03月31日期间,首次购买EMR Serverless Spark 3000 CU·小时资源抵扣包的用户将享受五折优惠。

文章 2025-02-10 来自:开发者社区

阿里云 EMR Serverless Spark 在微财机器学习场景下的应用

作者:微财技术研发经理 宋鑫 微财介绍 微财是一家创新型的金融科技企业,凭借多年积累的金融科技能力和数据处理优势,为客户提供消费分期等金融信息服务,致力于成为值得信赖的金融机构合作伙伴。旗下拥有好分期等品牌,为高成长用户提供信用分期借款过程中的综合性信息、技术以及辅助服务。 业务挑战 数据资源是金融科技企业的核心价值,微财依托大数据评估用户借款...

阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
阿里云文档 2025-02-10

2025-01-20版本说明

本文为您介绍2025年01月20日发布的EMR Serverless Spark的功能变更。

阿里云文档 2025-01-24

Celeborn介绍

Apache Celeborn是阿里云开源的中间数据服务,旨在提升大数据计算引擎的性能、稳定性和灵活性。Celeborn设计独立于具体引擎,支持Spark、Flink、MapReduce (MR) 和 Tez,并且是目前最流行的Remote Shuffle Service的实现。

文章 2024-10-31 来自:开发者社区

EMR Serverless Spark:一站式全托管湖仓分析利器

数据平台技术演变 追溯数据处理软件及平台的演进历程,每一次大的架构升级与变迁都是由全球范围的新兴应用出现和落地触发的。具体来说,20世纪60-70年代数据库技术出现,数据库技术的普及和落地与个人计算机(PC)兴起的浪潮息息相关。直至21世纪初互联网应用爆发前,单机数据库技术在数据处理领域一直占据着统治地位。 进入21世纪,国外以Google的搜索引擎、Facebook的...

EMR Serverless Spark:一站式全托管湖仓分析利器
文章 2024-09-24 来自:开发者社区

阿里云 EMR Serverless Spark 版正式开启商业化

阿里云 EMR Serverless Spark 版已于2024年9月14日正式商业化售卖,本文将简要介绍 EMR Serverless Spark 产品的功能、应用场景、计费模式,及使用限制。 阿里云 EMR Serverless Spark 版是一款云原生,专为大规模数据处理和分析而设计的全托管 Serverless 产品。该产品内置 Fusion Engine,100% ...

阿里云 EMR Serverless Spark 版正式开启商业化
文章 2024-08-16 来自:开发者社区

EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务

Apache Airflow 是一个强大的工作流程自动化和调度工具,它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务,以实现任务调度和执行的自动化,帮助您更有....

EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注