文章浏览阅读5.2k次,点赞14次,收藏25次。文章目录一、Hive安装1、解压环境2、环境变量配置3、配置文件信息1.打开编辑文件2.输入以下内容4、拷贝mysql驱动5、更新guava包和hadoop一致6、mysql授权7、初始化8、hive启动模式9、Hadoop的c......
2024-01-12 19:40 阅读 阅读全文文章浏览阅读1.7k次。1为什么要学习Scala语言2Scala简介3Scala在Windows系统上的安装及环境配置1安装Java下载JDK配置环境变量测试Java环境3安装Scala下载Scala配置环境变量测试Scala环境4使用Intellij IDEA写hello world1安装Intellij IDEA下载Intellij ......
2024-01-23 20:29 阅读 阅读全文文章浏览阅读223次。1)Zepplin安装与启动(1)将zeppelin-0.8.0-bin-all.tgz上传至Linux(2)解压zeppelin-0.8.0-bin-all.tgz之/opt/module tar -zxvf zeppelin-0.8.0-bin-all.tgz -C /opt/module/(3)修改名称 mv zeppelin-0.8.0-bin-all/ zeppelin(4)修改默认端口号web默......
2024-01-24 05:57 阅读 阅读全文文章浏览阅读3k次,点赞8次,收藏29次。吃货联盟订餐系统项目需求项目环境准备项目覆盖技能点阶段划分难点分析使用数组对象保存订单信息访问订单信息项目需求现今已进入网络时代,人们的日常生活已离不开网络,如网上......
2024-01-22 14:06 阅读 阅读全文生成经验-数据乱序1、kafka在1.x版本之前保证数据分区有序,条件如下:max.in.flight.requests.per.connection=1(不需要考虑是否开启幂等性)。2、kafka在1.x及以后版本保证数据分区有序,条件如下:(1)未开启幂等性max.in.flight.requests.per.co......
2023-10-11 21:23 阅读 阅读全文乘风御浪云帆之上擅长大数据学习痕迹,达内实训,设计模式之禅,等方面的知识,乘风御浪云帆之上关注c++,css,架构,html5,tomcat,firefox,elementui,正则表达式,intellij-idea,ios,ajax,spring,算法,java,postman,webpack,广度优先,安全架构,哈希算法,html,mys......
2023-11-13 16:53 阅读 阅读全文大数据之spark学习记录二: Spark的安装与上手文章目录大数据之spark学习记录二: Spark的安装与上手Spark安装本地模式Standalone 模式基本配置步骤1: 复制 spark, 并命名为spark-standalone步骤2: 进入配置文件目录conf, 配置spark-evn.sh步骤3: 修......
2023-10-10 03:29 阅读 阅读全文文章浏览阅读635次。目录1 Job执行三原则1.1 原则一 充分利用集群资源1.2 原则二 ReduceTask并发调整1.3 原则三 Task执行时间要合理2 Shuffle调优2.1 Map阶段2.2 Copy阶段2.3 Reduce阶段3 Job调优1 Job执行三原则充分利用集群资源reduce阶段尽量......
2024-02-07 12:51 阅读 阅读全文文章浏览阅读2.3k次。SparkSQL与Hive的交互有两种方式,一种是spark-sql,另一种是spark-shell。要注意,访问hive前要把$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf,还有必须要启动hdfs,因为hive的数据是存放在hdfs上的,既然要访问hive所以......
2024-01-23 20:38 阅读 阅读全文shiter擅长大数据机器学习实践探索,大数据+AI 赋能行业,助力企业数字化转型最佳实践案例,自然语言处理实战入门 -- 【重制版】,等方面的知识,shiter关注依赖倒置原则,数据分析,机器学习,spark,计算机视觉,接口隔离原则,自然语言......
2023-10-10 03:14 阅读 阅读全文