lxw1005192401擅长大数据,框架,持久层,等方面的知识...
2023-11-11 16:29 阅读 阅读全文目录一、数据传输层1、Sqoop2、Flume3、Kafka二、数据存储层1、HDFS2、HBase三、资源管理层1、YARN一、数据传输层1、SqoopSqoop是一款用来在Hadoop(Hive)和关系型数据库之间传输数据的工具。功能概述:Sqoop主要用于在HDFS/Hive与关系型数......
2024-01-22 20:13 阅读 阅读全文spark利用cache优化shuffle,spark缓存机制cache,persist和checkpoint,Flume到底会不会丢失数据?,大数据,Hive,框架...
2024-01-24 07:45 阅读 阅读全文大数据面壁者擅长代码,实时数仓,大数据相关框架,等方面的知识,大数据面壁者关注hive,集成学习,kubernetes,容器,计算机视觉,scikit-learn,神经网络,redis,推荐算法,spring,tensorflow,数据分析,机器学习,elasticsearch,ui,spark,图像处理,devops,linux,p......
2023-10-10 03:22 阅读 阅读全文文章浏览阅读457次,点赞2次,收藏3次。大数据开发最核心的课程就是Hadoop框架,几乎可以说Hadoop就是大数据开发。这个框架就类似于Java应用开发的SSH/SSM框架,都是Apache基金会或者其他Java开源社区团体的能人牛人开发的贡献给......
2024-01-23 10:45 阅读 阅读全文二、RDD编程,(一)spark是什么?,spark,big data,大数据...
2024-01-24 08:26 阅读 阅读全文ClickHouse 使用之常用数据类型、表引擎、语法,ClickHouse 安装及使用,Kylin安装及员工表和部门表多维度分析实战(详细步骤),kafka,flume,avro...
2024-01-22 14:47 阅读 阅读全文文章浏览阅读747次,点赞2次,收藏8次。已经火了很久了,一直想了解它学习它结果没时间,了解了一些资料,结合我自己的情况,整理了一个学习路线。谈起零基础学习大数据,有几点建议,先给大家说一下:虽然大数据的前......
2024-01-23 10:43 阅读 阅读全文海量数据的存储问题很早就已经出现了,一些行业或者部门因为历史的积累,数据量也达到了一定的级别。很早以前,当一台电脑无法存储这么庞大的数据时,采用的解决方案是使用NFS(网络文件系统)将数据分开存储。但是这种......
2023-10-11 14:26 阅读 阅读全文chary8088擅长程序相关,RPC框架,大数据,等方面的知识...
2023-10-13 08:53 阅读 阅读全文