网友收藏文章浏览阅读1.4k次。KafkaUtils.createDstream方式（基于kafka高级Api—–偏移量由zk保存） import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.s..._spark streaming kafka checkpoint...
2024-01-24 07:32 阅读 2.4 Checkpoint技术前面已经讲到了，缓冲池的设计目的为了协调CPU速度与磁盘速度的鸿沟。因此页的操作首先都是在缓冲池中完成的。如果一条DML语句，如Update或Delete改变了页中的记录，那么此时页是脏的，即缓冲池中的页的版......
2023-10-12 12:09 阅读 一、前言前面一篇文章已经讲到（https://blog.csdn.net/qq_41453285/article/details/104083744），缓冲池的设计目的为了协调CPU速度与磁盘速度的鸿沟。因此页的操作首先都是在缓冲池中完成的。如果一条DML语句，如Update或Delete改变了页中的......
2023-10-12 12:09 阅读 文章浏览阅读1.7k次。LogBuffer写入Redo Log的条件：1).用户提交2).有1/3重做日志缓冲区未被写入磁盘(可以通过修改_LOG_IO_SIZE参数来控制 )3).有大于1M的重做日志缓冲区未被写入磁盘4).每隔3 秒钟5). DBWR 需要写入的数据的SCN大于LGWR记录......
2023-11-11 13:11 阅读 文章浏览阅读1k次，点赞2次，收藏7次。环境： flink job 采用的是on yarn模式步骤1：修改flink-conf.yamlstate.backend 存储和检查点的后台存储。可选值为rocksdb filesystem hdfsstate.checkpoints.dir 保存检查点目录state.backend.incremental 增量存储state.......
2024-01-23 07:35 阅读 文章浏览阅读1k次，点赞2次，收藏7次。环境： flink job 采用的是on yarn模式步骤1：修改flink-conf.yamlstate.backend 存储和检查点的后台存储。可选值为rocksdb filesystem hdfsstate.checkpoints.dir 保存检查点目录state.backend.incremental 增量存储state.......
2024-01-23 07:35 阅读 文章浏览阅读1.3k次。事务有4种特性：原子性、一致性、隔离性和持久性。那么事务的四种特性到底是基于什么机制实现呢？事务的隔离性由 锁机制 实现。事务的原子性，一致性，持久性由事务的redo日志和undo日志来保证redo log......
2023-11-11 13:57 阅读 文章浏览阅读1k次，点赞3次，收藏7次。避免spark每次都重算RDD以及它的所有依赖，cache()、persist()、 checkpoint()。1、cache()：会被重复使用，但是不能太大的RDD，将其cache（）到内存当中，catch（）属于 memory only 。cache 是每计算出一......
2024-01-24 07:45 阅读 文章浏览阅读1k次，点赞3次，收藏7次。避免spark每次都重算RDD以及它的所有依赖，cache()、persist()、 checkpoint()。1、cache()：会被重复使用，但是不能太大的RDD，将其cache（）到内存当中，catch（）属于 memory only 。cache 是每计算出一......
2024-01-24 07:46 阅读 InnoDB存储引擎版本体系架构后台线程Master ThreadIO ThreadPurge(清理) ThreadPage Cleaner Thread内存缓冲池LRU List、Free List、Flush List重做日志 缓冲(名词)额外的内存池Checkpoint技术版本从MySQL 5.1版本时，MySQL数据库允许 存储引擎开发商 以 动......
2023-10-12 12:09 阅读 
