网友收藏 文章浏览阅读2.3k次,点赞4次,收藏7次。01_Spark 快速入门【Anaconda 软件安装】[掌握]使用Python编写Spark代码,首先需要安装Python语言包,此时安装Anaconda科学数据分析包。Anaconda指的是一个开源的Python发行版本,其包含了conda、Pytho......
2024-01-24 05:59 阅读
阅读全文 网友收藏 文章浏览阅读132次。IT行业发展速度快,市场需求大,而且,程序员薪酬高、福利待遇高,成为很多从业者向往的职业,当然,也刺激了很多非计算机专业的从业者进入该领域。转行进入IT行业在最近的几年一直是个热门,那么......
2024-01-23 10:45 阅读
阅读全文 网友收藏 资源浏览查阅119次。Python学习笔记——大数据之Spark简介与环境搭建,Spark是Apache顶级项目里面最火的大数据处理的计算引擎,它目前是负责大数据计算的工作。包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等......
2024-01-23 23:45 阅读
阅读全文 网友收藏 文章浏览阅读7.4w次,点赞35次,收藏180次。# 1、为什么要学习Scala语言?1. 结合Spark处理大数据这是Scala的一个主要应用,而且Spark也是那Scala写的。2. Java的脚本语言版可以直接写Scala的脚本,也可以在.sh直接使用Scala。3. 代替JavaSc......
2024-01-21 08:22 阅读
阅读全文 网友收藏 文章浏览阅读275次。为什么是Scala虽然在大数据领域Java的使用更普及,Python也有后来居上的势头,但Scala一直有着不可动摇的地位。我们熟悉的Spark,Kafka,Flink都是由Scala完成了其核心代码的开发。所以掌握Scala不仅可以学习大数......
2024-01-22 17:27 阅读
阅读全文 网友收藏 文章浏览阅读263次。如何实现每日自动构建cubeKylin提供了Restful API,因次我们可以将构建cube的命令写到脚本中,将脚本交给azkaban或者oozie这样的调度工具,以实现定时调度的功能。脚本如下:#!/bin/bashcube_name=order_cubedo_date=`date -d '-......
2024-01-24 05:57 阅读
阅读全文 网友收藏 文章浏览阅读392次。一、HiveJDBC访问1)启动beeline客户端 bin/beeline -u jdbc:hive2://hadoop101:10000 -n caron2)看到如下界面Connecting to jdbc:hive2://hadoop101:10000Connected to: Apache Hive (version 3.1.2)Driver: Hive JDBC (version 3.1.2)Transaction isolation: TRANSACTION_R......
2024-01-12 19:38 阅读
阅读全文 网友收藏 文章浏览阅读422次。第一章 计算机基础知识1.1 课程介绍1.2 计算机是什么1.3 计算机的组成1.4 计算机的使用方式1.5 windows 的命令行1.6 环境变量(environment variable)1.7 path 环境变量1.8 进制1.9 文本文件和字符集1.10 Sublime Text 3第二章 ......
2024-01-22 22:00 阅读
阅读全文 网友收藏 文章浏览阅读307次。摘要:主要是对zookeeper的安装、zookeeper集群中各个角色进行查看、集群日志查看、zookeeper的简单命令的操作,作一个初步与感性的操练。前置有一个网络良好局域网环境,可采用虚拟机生成一个,可参考[1]:......
2024-01-24 06:38 阅读
阅读全文 网友收藏 文章浏览阅读3.8k次。首先,各种配置无问题,ambari-server开启。访问http://ambari-server服务器IP:8080 ,显示错误。先 tail /var/log/ambari-server/ambari-server.out ambari-server.out日志文件报以下警告:WARNING: The following warnings have been detected with re......
2023-11-12 01:36 阅读
阅读全文