EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具,它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务,以实现任务调度和执行的自动化,帮助您更有....

毫秒级查询性能优化实践!基于阿里云数据库 SelectDB 版内核:Apache Doris 在极越汽车数字化运营和营销方向的解决方案
2023 年 3 月,在阿里云瑶池数据库峰会上,阿里云与飞轮科技正式达成战略合作协议,双方旨在共同研发名为“阿里云数据库 SelectDB 版”的新一代实时数据仓库,为用户提供在阿里云上的全托管服务。SelectDB 是飞轮科技基于 Apache Doris 内核打造的聚焦于企业大数据实时分析需求的企业级产品。因此阿里云数据库 SelectDB 版也延续了 Apache Doris 性能优异、架....

更高效准确的数据库内部任务调度实践,阿里云数据库SelectDB 内核 Apache Doris 内置 Job Scheduler 的实现与应用
2023 年 3 月,在阿里云瑶池数据库峰会上,阿里云与飞轮科技正式达成战略合作协议,双方旨在共同研发名为“阿里云数据库 SelectDB 版”的新一代实时数据仓库,为用户提供在阿里云上的全托管服务。SelectDB 是飞轮科技基于 Apache Doris 内核打造的聚焦于企业大数据实时分析需求的企业级产品。因此阿里云数据库 SelectDB 版也延续了 Apache Doris 性能优异、架....

深度实践 | 自如基于Apache StreamPark 的实时计算平台实践
导读:自如作为一家专注于提供租房产品和服务的 O2O 互联网公司,构建了一个涵盖城市居住生活领域全链条的在线化、数据化、智能化平台,实时计算在自如一直扮演着重要的角色。到目前为止,自如每日需要处理 TB 级别的数据,本文由来自自如的实时计算小伙伴带来,介绍了自如基于 StreamPark 的实时计算平台深度实践。实时计算遇到的挑战需求解决方案之路基于 StreamPark 的深度实践实践经验总结....

Java【付诸实践 01】使用org.apache.ibatis.plugin.Interceptor拦截器实现全局mapper.xml参数注入(可用于切换数据库实例schema)源码实例分享
1. why项目没有使用MyBatis,进行数据操作时使用的是jdbc中默认的schema,现在项目要加入多租户,同一个数据库下不同租户使用不同的实例schema,这就要在mapper文件内所有的表名称前加上schema,并动态传递其参数值,这样每个SQL都要添加这个参数,如果传递的是对象,也要给对象加相应的属性,这个工作量可想而知。必须想办法,将schema参数传递给所有的SQL,办法就是全局....
应用实践 | 数仓体系效率全面提升!同程数科基于 Apache Doris 的数据仓库建设
导读:同程数科成立于 2015 年,是同程集团旗下的旅游产业金融服务平台。2020 年,同程数科基于 Apache Doris 丰富的数据接入方式、优异的并行运算能力、极简运维等特性,引入 Apache Doris 进行数仓架构2.0 的搭建。本文详细讲述了架构1.0 到 2.0 的演进过程及 Doris 的应用实践,希望对大家有所帮助。作者|同程数科大数据高级工程师 王星业务背景业务介绍同程数....

应用实践 | 10 亿数据秒级关联,货拉拉基于 Apache Doris 的 OLAP 体系演进
分享人|货拉拉大数据引擎负责人 杨秋吉,张斌业务背景货拉拉成立于 2013 年,成长于粤港澳大湾区,是一家从事同城、跨城货运、企业版物流服务、搬家、汽车销售及车后市场服务的互联网物流公司。截至 2022 年 4 月,货拉拉的业务范围已经覆盖了国内 352 座城市,月活司机达到 58 万,月活用户达到 760 万,包含 8 条以上的业务线。货拉拉大数据体系为支撑公司业务,现在已经成立三个 IDC ....

Serverless 工程实践 | 自建 Apache OpenWhisk 平台
OpenWhisk 简介OpenWhisk 是基于云的分布式事件驱动的编程服务。OpenWhisk 提供一种编程模型,将事件处理程序注册到云服务中,以处理各种不同的服务。其可以支持数千触发器和调用,可以对不同规模的事件进行响应。OpenWhisk 是由许多组件构建的,这些组件让 OpenWhisk 成为一款优秀的开源 FaaS 平台。Apache OpenWhisk 组件结构OpenWhisk ....

企业实践 | 如何更好地使用 Apache Flink 解决数据计算问题?
业务数据的指数级扩张,数据处理的速度可不能跟不上业务发展的步伐。基于 Flink 的数据平台构建、运用 Flink 解决业务场景中的具体问题等随着 Flink 被更广泛的应用于广告、金融风控、实时 BI、实时数仓、实时推荐等多种业务场景,在生产实践中已有丰富的案例与优秀的经验。 Flink Forward Asia 倒计时 28 天,企业实践专题大会邀请了字节跳动、滴滴出行、快手、Bilibil....
阿里云ECS构建大数据平台实践-基于Apache Hadoop
0. 项目背景 基于阿里云ECS云服务器进行搭建私有的大数据平台,采用Apache Hadoop生态,为大数据提供存储及处理。 1. 购买ECS云服务器实例 在这里,因为实验需要3个节点,所以我们购买3台ECS实例。 2. 远程登录服务器,进行基础环境的配置。 # 工欲善其事,必先利其器 # 前提准备 # 安装系统命令 yum -y install wget vim ntpdate net-...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
Apache实践相关内容
- Apache湖仓一体实践
- Apache湖仓实践
- 小米Apache paimon流式实践
- Apache paimon湖仓实践
- Apache流式实践
- Apache paimon实践
- elasticsearch Apache实践
- Apache构建lakehouse实践
- Apache lakehouse实践
- Apache streaming实践
- Apache构建实践
- Apache集群实践
- Apache meetup实践
- 科技Apache实践
- 阿里云Apache实践
- Apache iotdb iot实践
- 阿里云selectdb内核Apache实践
- 内核Apache doris实践
- selectdb Apache实践
- Apache实践应用
- 离线Apache实践
- Apache场景实践
- 查询内核Apache实践
- Apache构建数据湖实践
- Apache生产实践
- Apache hudi实践
- Apache hudi构建实践
- 快手Apache实践
- 字节跳动Apache实践
- Apache平台实践
Apache更多实践相关
Apache您可能感兴趣
- Apache meetup
- Apache阿里云
- Apache doris
- Apache教程
- Apache配置
- Apache技术
- Apache数据库
- Apache php7.1
- Apache php
- Apache编译
- Apache flink
- Apache rocketmq
- Apache安装
- Apache dubbo
- Apache tomcat
- Apache服务器
- Apache linux
- Apache spark
- Apache开发
- Apache服务
- Apache报错
- Apache mysql
- Apache微服务
- Apache访问
- Apache kafka
- Apache从入门到精通
- Apache hudi
- Apache日志
- Apache应用
- Apache web
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!
+关注