浅谈大数据中Hadoop、Hive和Spark的详解_数练掌握sql,对hadoop/spark/hive要有一定了解-CSDN博客

网站介绍:文章浏览阅读2.6k次,点赞8次,收藏7次。首先大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽然奇怪的组合也能工作,但是未必是最佳选择。存放数据传统的文件系统是单机的,不能横跨不同的机器。HDFS(..._数练掌握sql,对hadoop/spark/hive要有一定了解