文章 2023-12-25 来自:开发者社区

手把手教你大数据离线综合实战 ETL+Hive+Mysql+Spark

引言大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,一个平凡而不平庸的人。1.第一章 综合实战概述数据管理平台(Data ManagementPlatform,简称DMP),能够为广告投放提供人群标签进行受众精准定向,并通过投放数据建立用户画像,进行人群标签的管理以及再投放。各大互联网公司都有自己的DMP平台,用户广告精准投....

手把手教你大数据离线综合实战 ETL+Hive+Mysql+Spark
文章 2022-12-08 来自:开发者社区

《spark替代HIVE实现ETL作业》电子版地址

《spark替代HIVE实现ETL作业》spark替代HIVE实现ETL作业 电子版下载地址: https://developer.aliyun.com/ebook/2456 电子书: </div>

《spark替代HIVE实现ETL作业》电子版地址
问答 2018-05-27 来自:开发者社区

spark替代HIVE实现ETL作业

河狸家数据小二黄伟伦在2017第八届数据库大会上做了题为《spark替代HIVE实现ETL作业》的分享,就使用HIVE的一些问题,SPARK针对ETL场景配置优化,SPARK执行复杂SQL遇到的问题与解决,利用SPARK应对未来ETL场景做了深入的分析。 https://yq.aliyun.com/download/419?spm=a2c4e.11154804.0.0.4df76a79Ww2...

文章 2017-02-14 来自:开发者社区

【Spark Summit EU 2016】摆脱传统ETL,让我们走向Spark吧!

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps。 本讲义出自Bas Geerdink在Spark Summit EU 2016上的演讲,主要介绍了什么是ETL,其实ETL就是对于数据的提取、转换、加载....

文章 2016-09-10 来自:开发者社区

Spark Streaming + Spark SQL 实现配置化ETL流程

项目地址 前言 传统的Spark Streaming程序需要: 构建StreamingContext 设置checkpoint 链接数据源 各种transform foreachRDD 输出 通常而言,你可能会因为要走完上面的流程而构建了一个很大的程序,比如一个main方法里上百行代码,虽然在开发小功能上足够便利,但是复用度更方面是不够的,而且不利于协作,所以需要一个更高层的...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等