【spark】行列互转的思考_spark 行转列-CSDN博客

网站介绍:文章浏览阅读4.2k次。本文基于一个具体的案例,介绍spark中case when,stack,lateral view explode,pivot的用法,并做一些性能上的比较一、背景群里有个小伙伴出了一道题目是行转列(多行数据转成多列数据)如图,把上表的数据通过sql变成下表的数据当然实现方法还是比较多的,我也想了几种方式,并随便搞了2.5亿条数据测试下性能(表格式是text,每个文件块大小都很均匀)二、实现方法不同引擎里,会有不同的函数或者语法做行列的转换,我这里就针对spark引擎._spark 行转列