问答 2024-08-18 来自:开发者社区

我这个mysql全量同步到doris,150g,中间oom,同步到一大半就oom 怎么回事?

我这个mysql全量同步到doris,150g,中间oom,source配置用的默认的 我只有一个并行度 表可以同步,就是表有点大,同步到一大半就oom 怎么回事?

文章 2024-06-26 来自:开发者社区

大量delete mysql的数据时,为什么导致OOM

大量delete导致OOM原因 在应用中大量删除 MySQL 数据可能导致内存不足(OutOfMemoryError)的问题,可能的原因如下: 1. 事务未提交 如果删除操作在一个大事务中进行,并且该事务未提交或者长时间未提交,那么会导致事务日志持续增加,占用大量内存,最终导致内存溢出。 2. 查询结果集过大 如果在删除前执行了一个查询语句,返回的结果集非...

问答 2024-05-28 来自:开发者社区

flinkcdc有没有遇到过MySQL中记录每一条都比较大,从而导致去读OOM的情况?

flinkcdc中MySQL 同步到 StarRocks,你们有没有遇到过MySQL中记录每一条都比较大(比如有text类型文本),从而导致去读OOM的情况source根据配置条数读取容易出现这个问题,否可以根据读取的字节大小配置?

问答 2023-12-01 来自:开发者社区

Flink CDC我全量同步mysql,75w,11G数据,TM给了2G,还是oom?

Flink CDC我全量同步mysql,75w,11G数据,TM给了2G,还是oom?有什么可以优化的吗?

问答 2023-10-23 来自:开发者社区

flinksqlcdc采集了一张mysql,oom了,但是采集的实际上是整个binlog?

flinksqlcdc采集了一张mysql,oom了,是不是虽然采集的是一张,但是采集的实际上是整个binlog?

文章 2023-09-25 来自:开发者社区

SpringBoot 实现 MySQL 百万级数据量导出并避免 OOM 的解决方案!

动态数据导出是一般项目都会涉及到的功能。它的基本实现逻辑就是从mysql查询数据,加载到内存,然后从内存创建excel或者csv,以流的形式响应给前端。SpringBoot下载excel基本都是这么干。虽然这是个可行的方案,然而一旦mysql数据量太大,达到十万级,百万级,千万级,大规模数据加载到内存必然会引起OutofMemoryError。一、要考虑如何避免OOM,一般有两个方面的思路。1.....

SpringBoot 实现 MySQL 百万级数据量导出并避免 OOM 的解决方案!
问答 2023-05-01 来自:开发者社区

咨询下Flink CDC 中mysql binlog 太大导致oom的问题,几分钟更新了600w数据

咨询下Flink CDC 中mysql binlog 太大导致oom的问题,几分钟更新了600w数据,binlog能切分段过来吗?

文章 2023-04-30 来自:开发者社区

SpringBoot 实现 MySQL 百万级数据量导出并避免 OOM 的解决方案

前言JPA实现百万级数据导出MyBatis实现百万级数据导出MyBatis实现百万级数据导出的具体实例前言动态数据导出是一般项目都会涉及到的功能。它的基本实现逻辑就是从mysql查询数据,加载到内存,然后从内存创建excel或者csv,以流的形式响应给前端。参考:https://grokonez.com/spring-framework/spring-boot/excel-file-downlo....

SpringBoot 实现 MySQL 百万级数据量导出并避免 OOM 的解决方案
文章 2022-08-30 来自:开发者社区

100G内存下,MySQL查询200G大表会OOM么?

全表扫描对server层的影响全表扫描对InnoDB的影响InnoDB内存管理小结我的主机内存只有100G,现在要全表扫描一个200G大表,会不会把DB主机的内存用光?逻辑备份时,可不就是做整库扫描吗?若这样就会把内存吃光,逻辑备份不是早就挂了?所以大表全表扫描,看起来应该没问题。这是为啥呢?全表扫描对server层的影响假设,我们现在要对一个200G的InnoDB表db1. t,执行一个全表扫....

100G内存下,MySQL查询200G大表会OOM么?
文章 2021-12-28 来自:开发者社区

MySQL数据查询太多会OOM吗?

我的主机内存只有100G,现在要全表扫描一个200G大表,会不会把DB主机的内存用光?逻辑备份时,可不就是做整库扫描吗?若这样就会把内存吃光,逻辑备份不是早就挂了?所以大表全表扫描,看起来应该没问题。这是为啥呢?全表扫描对server层的影响假设,我们现在要对一个200G的InnoDB表db1. t,执行一个全表扫描。当然,你要把扫描结果保存在客户端,会使用类似这样的命令:mysql -h$ho....

MySQL数据查询太多会OOM吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

数据库

数据库领域前沿技术分享与交流

+关注
相关镜像
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等