文章浏览阅读1.5k次,点赞2次,收藏2次。从 Spark 2.0 开始移除了Hash Based Shuffle,想要了解可参考Shuffle 过程,本文将讲解 Sort Based Shuffle。ShuffleMapTask的结果(ShuffleMapStage中FinalRDD的数据)都将写入磁盘,以供后续Stage拉取,即整个S......
文章浏览阅读2.1k次。pre.环境准备1.建立两个表S,T,并插入一些数据--创建表Screate table S(d int) engine=innodb;insert into S values (3);--创建表Tcreate table T(c int) engine=innodb;insert into S values (10);2.打开两个客户端连接一.写锁1.对锁定表进行查看......