文章浏览阅读599次。Eclipse环境搭建：1.保证电脑上已经配置JDK2.配置hadoop的环境变量，变量名：HADOOP_HOME，变量值：hadoop的路径修改Path路径----->新增 %HADOOP_HOME%\bin在系统变量中新建HADOOP_USER_NAME，值为root3.配置eclipse环境①在eclip......

文章浏览阅读213次。哪个大数据框架更适合你？来自四面八方的数据席卷而来，将我们裹挟进去。。随着数据每两年翻一番，数字宇宙正以飞快的速度追赶物理宇宙。据估计，到2020年，数字宇宙将达到44泽塔字节——其数字位的......

文章浏览阅读563次。前言：本篇文章针对于2020秋季学期的复习操作，一是对该学期的巩固，二是让老师知道他的努力没有白费，同时，在此感谢徐老师对我们的精心教导…本文所需材料IntelliJ IDEA官网→https://www.jetbrains.com/idea/我......

文章浏览阅读392次。一、HiveJDBC访问1）启动beeline客户端 bin/beeline -u jdbc:hive2://hadoop101:10000 -n caron2）看到如下界面Connecting to jdbc:hive2://hadoop101:10000Connected to: Apache Hive (version 3.1.2)Driver: Hive JDBC (version 3.1.2)Transaction isolation: TRANSACTION_R......

二十六画生的博客擅长Java SSM,笔试面经 LeetCode 剑指Offer 后端/大数据,Hive Spark Hadoop MapReduce,等方面的知识,二十六画生的博客关注hive,storm,spark,hadoop,etl领域....

文章浏览阅读9.7k次，点赞13次，收藏110次。大数据从入门到实战 - Hive的安装与配置一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：Hive的安装与配置2、第2关：Hive Shell入门基础命令叮嘟！这里是小啊呜的学习课......

文章浏览阅读2.7k次。18/11/02 11:50:03 INFO ipc.Client: Retrying connect to server: master/192.168.10.251:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 M..._warn ipc.client: failed to connect to server...

文章浏览阅读750次。1.在idea中创建java项目；2.导入相关依赖包; 2.1 依赖包位置（确保hadoop在虚拟机上已启动：start-all.sh）：需要导入的依赖包有：（1）~/hadoop/common目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar；（2）~/hadoop/common/li......

文章浏览阅读961次。安装安利apache的downloads地址 https://downloads.apache.org/下载wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop3.2.tgz解压gunzip spark-3.0.1-bin-hadoop3.2.tgztar xvf spark-3.0.1-bin-hadoop3.2.tar_spark-3.4.1-bin-hadoop3-scala2.13 downlo......

目录1:MapReduce核心编程思想2:MapReduce进程3.常用数据序列化类型1:MapReduce核心编程思想2:MapReduce进程一个完整的MapReduce程序在分布式运行时有三类实例进程；1）、MrAppMaster:负责整个程序的运行调度及状态协调；2）、MapTask:负责Map阶......