云数据库 RDS PostgreSQL 版流式的相关内容

文章 2020-07-16 来自：开发者社区

如何基于Flink将流式数据实时写入AnalyticDB for PostgreSQL

本文主要介绍如何通过 Flink 将流式数据实时写入 ADB PG中，并提供一个项目代码demo。版本说明：Flink 为社区1.7.2版本。ADB PG为阿里云AnalyticDB for PostgreSQL 6.0版。使用方法使用 Flink 作为流处理计算引擎时，可以通过sink connector，将Flink中的数据写入到目标端。本文demo中以socketStream作为源端(d....

文章 2018-10-05 来自：开发者社区

PostgreSQL 流式处理应用实践 - 二手商品实时归类(异步消息notify/listen、阅后即焚)

标签 PostgreSQL , rule , trigger , 归类 , json , udf , 异步消息 , listen , notify 背景因为二手商品没有太多的活动、硬性分类，广告等活动，所以购买或者销售速度没有新商品那么快。为了提高二手商品的销售效率，需要提供一套归类策略。当商品新增或商品内容发生变化时，需要根据商品属性，以及定义的规则，实时进行商品归类（鱼塘，圈子等）方...

文章 2018-01-27 来自：开发者社区

PostgreSQL 秒杀4种方法 - 增加批量流式加减库存方法

标签 PostgreSQL , 秒杀 , 批量扣减 , 流处理背景秒杀，即对同一个商品，消减库存。带来的数据库问题是热点行，由于数据库最细粒度的锁通常是行锁，同一行同一时刻只能被一个事务更新，其他事务如果要更新同一行，会等待行级排它锁。 PostgreSQL中有几种方法来处理秒杀： 1、暴力，直接更新 2、skip locked，跳过被锁的行，直接返回，防止会话长时间等待。可以发起重试...

文章 2017-11-23 来自：开发者社区

PostgreSQL 流式统计 - insert on conflict 实现流式 UV(distinct), min, max, avg, sum, count ...

标签 PostgreSQL , 流式统计 , insert on conflict , count , avg , min , max , sum 背景流式统计count, avg, min, max, sum等是一个比较有意思的场景，可用于实时大屏，实时绘制统计图表。比如菜鸟、淘宝、阿里游戏、以及其他业务系统的FEED日志，按各个维度实时统计输出结果。(实时FEED统计，实时各...

文章 2017-11-14 来自：开发者社区

HTAP数据库 PostgreSQL 场景与性能测试之 27 - (OLTP) 物联网 - FEED日志, 流式处理与阅后即焚 (CTE)

标签 PostgreSQL , HTAP , OLTP , OLAP , 场景与性能测试背景 PostgreSQL是一个历史悠久的数据库，历史可以追溯到1973年，最早由2014计算机图灵奖得主，关系数据库的鼻祖Michael_Stonebraker 操刀设计，PostgreSQL具备与Oracle类似的功能、性能、架构以及稳定性。 PostgreSQL社区的贡献者众多，来自全球各个行...

文章 2017-07-13 来自：开发者社区

PostgreSQL 10 流式物理、逻辑主从最佳实践

标签 PostgreSQL , 流复制 , 主从 , 逻辑订阅背景流复制起源 PostgreSQL 自从2010年推出的9.0版本开始，支持流式物理复制，用户可以通过流式复制，构建只读备库(主备物理复制，块级别一致)。流式物理复制可以做到极低的延迟（通常在1毫秒以内）。同步流复制 2011年推出的9.1版本，支持同步复制，当时只支持一个同步流复制备节点（例如配置了3个备，只有一个是...

文章 2017-02-07 来自：开发者社区

PostgreSQL 10 新特性, 流式接收端在线压缩redo

标签 PostgreSQL , redo 在线压缩 , wal 在线压缩 , 接收端压缩 , pg_receivexlog , pg_basebackup , 断点续传背景虽然现在磁盘已经很廉价，大多数时候不需要压缩了。但是在一些嵌入式系统，或者一些未扩容的产品环境中，压缩还是非常有必要的。特别是数据变化大、或者数据增量大的场景，例如物联网(IoT)，每天单库可能新增TB级的增量。 ...

文章 2016-08-13 来自：开发者社区

旋转门数据压缩算法在PostgreSQL中的实现 - 流式压缩在物联网、监控、传感器等场景的应用

背景在物联网、监控、传感器、金融等应用领域，数据在时间维度上流式的产生，而且数据量非常庞大。例如我们经常看到的性能监控视图，就是很多点在时间维度上描绘的曲线。又比如金融行业的走势数据等等。我们想象一下，如果每个传感器或指标每100毫秒产生1个点，一天就是864000个点。而传感器或指标是非常多的，例如有100万个传感器或指标，一天的量就接近一亿的量。假设我们要描绘...

文章 2015-12-15 来自：开发者社区

PostgreSQL "物联网"应用 - 1 实时流式数据处理案例(万亿每天)

物联网的一个特点是万物联网，会产生大量的数据。例如：一盒药，从生产，到运输，到药店，到售卖。每流经一个节点，都会记录它的信息。又如：健康手环，儿童防丢手表，一些动物迁徙研究的传感器（如中华鲟），水纹监测，电网监测，煤气管道监测，气象监测等等这些信息。股价的实时预测。车流实时数据统计，车辆轨迹实时合并。商场人流实时统计。数据监控实时处理，例如数据库的监控，服务...

文章 2015-12-10 来自：开发者社区

PostgreSQL 百万级每秒的流式实时统计应用

PipelineDB是基于PostgreSQL研发的一种流式关系数据库(0.8.1基于9.4.4)，这种数据库的特点是自动处理流式数据，不存储原始数据，只存储处理后的数据，所以非常适合当下流行的实时流式数据处理，例如网站流量统计，IT服务的监控统计，APPStore的浏览统计等等。 http://www.postgresql.org/about/news/1596/ PipelineDB, an....