文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——快手-Flink SQL 在快手的扩展和实践(1)

作者:张静、张芒用户背景 快手作为领先的内容社区及社交平台,其使命是成为全球最痴迷于为客户创造价值的公司,快手提供的产品和服务可满足用户自然产生的各种需求,包括娱乐、线上营销服务、电商、网络游戏、在线知识共享等。 平台现状快手从2018年开始对Flink进行深度整合,经过4年发展,实时计算平台逐渐完善并赋能周边各种组件。  2018 年针对 Flink 1.4 进行了平台化建设并大幅提....

《Apache Flink 案例集(2022版)》——2.数据分析——快手-Flink SQL 在快手的扩展和实践(1)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——快手-Flink SQL 在快手的扩展和实践(2)

《Apache Flink 案例集(2022版)》——2.数据分析——快手-Flink SQL 在快手的扩展和实践(1) https://developer.aliyun.com/article/1228373生产实践一、功能扩展 为了支持内部的业务需求,快手做了很多功能扩展,其中两个围绕窗口的扩展尤为重要:一个是 Group Window Aggregate 扩展,一个是在 Flip-145 ....

《Apache Flink 案例集(2022版)》——2.数据分析——快手-Flink SQL 在快手的扩展和实践(2)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——快手-Flink SQL 在快手的扩展和实践(3)

《Apache Flink 案例集(2022版)》——2.数据分析——快手-Flink SQL 在快手的扩展和实践(2) https://developer.aliyun.com/article/1228372二、 性能优化  聚合上的状态优化 聚合上的状态优化 这是一个聚合场景下 distinct states 状态复用的案例,需要统计应用下每个子频道的 UV。该案例有两个特点,频道....

《Apache Flink 案例集(2022版)》——2.数据分析——快手-Flink SQL 在快手的扩展和实践(3)
文章 2023-05-25 来自:开发者社区

《Apache Flink 案例集(2022版)》——2.数据分析——快手-Flink SQL 在快手的扩展和实践(4)

《Apache Flink 案例集(2022版)》——2.数据分析——快手-Flink SQL 在快手的扩展和实践(3) https://developer.aliyun.com/article/1228370维表关联的攒批优化 维表关联的攒批优化是为了减少 RPC 的调用次数。原理是攒一批数据以后,调用维表的批量查询接口,语法上快手引入通用的 Mini-Batch hint,它有两个参数:一个....

《Apache Flink 案例集(2022版)》——2.数据分析——快手-Flink SQL 在快手的扩展和实践(4)
文章 2023-05-18 来自:开发者社区

【Bypass】安全狗apache V4.0.23137 SQL注入绕过

1. 版本当前版本是最新版安全狗 主程序版本号为:v4.0.23137上一次的版本为 主程序版本号为:v4.0.26655所以这次已经对安全狗进行了升级。2. 开始绕按照ling老板的笔记,继续:关键:/*//------/*/ 安全狗 order by 绕过id=1%27%20order%20/*//------/*/--+%20%0Aby%203--+s 精简版:id=1%27%20orde....

【Bypass】安全狗apache V4.0.23137 SQL注入绕过
文章 2023-05-17 来自:开发者社区

SQL注入-安全狗apache最新版绕过

1. 背景知识现在的环境下对web选手越来越不友好,如果想在web场景中去挖洞,基本上都要面对waf,而常用的waf产品有很多,本次以开源免费最新版安全狗为例,绕过waf获取数据。tips:本文需要您提前掌握一定的基础知识!2. 环境配置Windows 10主机phpstudy2018sqli-labs靶场安全狗apache4.0.30255当前版本是最新版安全狗(截止2021.05.17)3.....

SQL注入-安全狗apache最新版绕过
文章 2023-02-10 来自:开发者社区

《原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili》电子版地址

《原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili》原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 电子版下载地址: https://developer.aliyun.com/ebook/2419 电子书: </div>

《原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili》电子版地址
文章 2023-01-29 来自:开发者社区

【墨菲安全实验室】Apache IoTDB grafana-connector模块SQL注入分析

漏洞简述Apache IoTDB 是面向IoT场景存储时序数据的数据管理系统,具备跟Grafana、spark等系统的集成能力。4月8日,IoTDB 修复了其中 grafana-connector 模块中的 SQL 注入漏洞。由于 grafana-connector 模块中 BasicDaoImpl 类的 querySeriesInternal 方法存在拼接 SQL 语句,导致攻击者可以构造请求....

【墨菲安全实验室】Apache IoTDB grafana-connector模块SQL注入分析
文章 2023-01-01 来自:开发者社区

浅谈 Apache Doris FE 处理查询 SQL 源码解析

一、前言在使用 Apache Doris 时,我们可以通过 Apache Doris FE Web 页面或者 Mysql 协议执行 SQL 语句,但是对于 Apache Doris 背后如何对 SQL 进行处理,我们无从所知。本文章内容主要讲解 Apache Doris 查询 SQL 在 FE 节点处理原理。Doris 查询语句和市面主流的数据库处理阶段都差不多,需要经过 Parse,Analy....

浅谈 Apache Doris FE 处理查询 SQL 源码解析
文章 2022-12-29 来自:开发者社区

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession

报错信息Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$ at spark.day1.AA$.main(no2.scala:11) at spark.day1.AA.main(no2.scala) Caused by: java.lang.ClassN...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问