问答 2023-05-01 来自:开发者社区

请教下,FlinkCDC 同步oracle11g到mysql,需要怎么设置log.mining.ba

请教下,FlinkCDC 同步oracle11g到mysql,需要怎么设置log.mining.batch.size.max的值?现在试了10w,100w,任务运行6个小时后,cdc就没效果了,会提示以下信息? 昨天晚上调整成1000w后,cdc任务已经坚持了10个小时了

问答 2023-04-27 来自:开发者社区

MYSQL 8.0.20往上需要关闭日志压缩这个特性才能投递

canal合适可以支持这个参数啊? binlog_transaction_compression 原提问者GitHub用户ZSH9053

文章 2023-04-26 来自:开发者社区

【MySQL技术内幕】8.4-二进制日志备份与恢复

二进制日志非常关键,用户可以通过它完成 point-in-time的恢复工作。 MySQL数据库的replication同样需要二进制日志。在默认情况下并不启用二进制日志,要使用二进制日志首先必须启用它。如在配置文件中进行设置:[mysqld]log-bin=mysql-bin对于InnoDB存储引擎只简单启用二进制日志是不够的,还需要启用一些其他参数来保证最为安全和正确地记录二进制日志,因此对....

文章 2023-04-26 来自:开发者社区

【MySQL技术内幕】7.2.2-事务的实现之undo log

1、基本概念重做日志记录了事务的行为,可以很好地通过其对页进行“重做”操作。但是事务有时还需要进行回滚操作,这时就需要undo。因此在对数据库进行修改时, InnoDB存储引擎不但会产生redo,还会产生一定量的undo。这样如果用户执行的事务或语句由于某种原因失败了,又或者用户用一条 ROLLBACK语句请求回滚,就可以利用这些undo信息将数据回滚到修改之前的样子。redo存放在重做日志文件....

【MySQL技术内幕】7.2.2-事务的实现之undo log
文章 2023-04-26 来自:开发者社区

【MySQL技术内幕】7.2.1-事务的实现之redo log

事务隔离性由锁来实现。原子性、一致性、持久性通过数据库的redo log和undo log来完成。redo log称为重做日志,用来保证事务的原子性和持久性。undo log用来保证事务的一致性。有的DBA或许会认为undo是redo的逆过程,其实不然。redo和undo的作用都可以视为是一种恢复操作,redo恢复提交事务修改的页操作,而undo回滚行记录到某个特定版本。因此两者记录的内容不同,....

【MySQL技术内幕】7.2.1-事务的实现之redo log
问答 2023-04-25 来自:开发者社区

Canal 订阅Mysql Binlog日志,中文解析乱码

Mysql version:5.7.33 canal: 1.1.6 描述: canal订阅Mysql Binlog日志,flatMessage 设置为True,message 转换后的对象 #com.alibaba.otter.canal.connector.core.producer.MQMessageUtils#messageConverter 测试数据 course_name = 顶顶顶.....

文章 2023-04-21 来自:开发者社区

MySQL慢查询日志配置与简析

MySQL慢查询日志配置与简析 <1> 查看是否开启慢查询日志SHOW VARIABLES LIKE 'slow%'; 说明:a. 如果slow_query_log参数值为OFF则表示没开启,如果为ON则表示开启b. slow_query_log_file 参数值为慢查询日志存放路径与名称(5.6及以上版本)。可以不设置该参数,系统则会默认给一个缺省的文件host....

MySQL慢查询日志配置与简析
问答 2023-04-19 来自:开发者社区

大佬们我想问一下 我用阿里的全托管的Flink cdc 去读 mysql的日志 mysql b

大佬们我想问一下 我用阿里的全托管的Flink cdc 去读 mysql的日志 mysql binlog的 模式的 row 模式 ,无法区分 新增 修改 删除 ,有什么方式能让程序知道 这个日志 是 新增 修改 删除?

文章 2023-04-14 来自:开发者社区

EFK环境收集MySQL慢日志

本文通过EFK(Elasticsearch、Fluentd、Kibana)来收集MySQL慢日志,当前系统环境基于Centos7,MySQL基于wlnmp一键包安装。本文由吴昊博客全网首发。注意文中软件版本,版本不同可能会影响最终结果,本文未在新版中进行测试。1、安装Fluentd方法一:使用官方推荐的安装方式curl -L https://toolbelt.treasuredata.com/s....

EFK环境收集MySQL慢日志
问答 2023-04-05 来自:开发者社区

请问mysql flink cdc 有人遇到数据量对不上的问题吗?binlog日志是对的,最后删除了

请问mysql flink cdc 有人遇到数据量对不上的问题吗?binlog日志是对的,最后删除了,但是doris里数据还存在。 是sink并发度设置问题吗,导致导入顺序错乱?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云日志服务SLS

SLS是一站式云原生可观测性数据平台,一站式提供数据采集、加工、查询与分析、可视化等功能。日常更新产品最新动态,最佳实践以及技术大咖的观点和经验。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等