文章浏览阅读903次。本文来自艾叔编著的《零基础快速入门Scala》免费电子书,添加文末艾叔微信,获取完整版的PDF电子书1.8 Spark和ScalaSpark框架本身是使用Scala开发的,Scala是一种小众语言,个性十分鲜明,有的人使用了它之后......
2024-01-22 22:13 阅读 阅读全文文章浏览阅读6.9k次,点赞2次,收藏7次。为何Spark选择了Scala初学Scala,给我的感觉就是一堆语法糖以及最近名声大噪的函数式编程。可是λ表达式Java也有,map / reduce java也有,速度上java也会比scala快,心想一定是自己见识不够,......
2024-01-23 10:54 阅读 阅读全文文章浏览阅读180次。问题集锦01正文01scala与spark scala是spark内核的实现语言,版本对应是这样的spark1.6 对应 scala 2.10实际上scala的更高版本也是可以的。spark1.6需要运行在java1.7上,python2.6上。java1.6到java1.7增添了maven包管理器,java1.......
2024-01-23 05:06 阅读 阅读全文文章浏览阅读9.5k次,点赞9次,收藏80次。Scala 统计学生成绩题干学生的成绩清单格式如下所示,第一行为表头,各字段意思分别为学号、性别、课程名 1、课程名 2 等,后面每一行代表一个学生的信息,各字段之间用空白符隔开......
2024-01-23 01:13 阅读 阅读全文文章浏览阅读5.4k次,点赞2次,收藏6次。前言因为spark集群的换代升级, 需要从scala 2.11 升级到scala 2.12 spark2升级到spark 3。本篇博客主要讲述南国在将spark 作业升级时遇到的问题和解决办法。具体步骤1.升级spark相关依赖针对于pom......
2024-01-23 10:54 阅读 阅读全文文章浏览阅读708次。大数据Spark “蘑菇云”行动前传第23课:Scala外部命令和正则表达式及Spark源码鉴赏1 Spark源码的外部命令和正则表达式的源码鉴赏2 Scala外部命令和正则表达式 package com.dt.spark.scala.bascisimport sys.process._object Hell......
2024-01-22 22:09 阅读 阅读全文小基基o_O擅长Scala和Spark,Java,自然语言处理,等方面的知识,小基基o_O关注hive,tensorflow,java,机器学习,spark,深度学习,自然语言处理,hadoop,hbase,大数据领域....
2023-10-10 03:14 阅读 阅读全文通过本议题,能够应用Scala进行Spark应用程序开发、掌握Spark的基本运行原理及编程模型,能够熟悉运用Spark SQL进行大数据仓库的开发,掌握Spark流式计算、Spark机器学习及图计算的原理。...
2024-01-23 03:02 阅读 阅读全文文章浏览阅读503次。一、 安装Scala1、 确保Java安装成功[hadoop@spark01-61cdh scala-2.10.4]$ java -versionjava version "1.7.0_111"[hadoop@spark01-61cdh scala-2.10.4]$ echo $JAVA_HOME/opt/modules/jdk1.7.0_62、 解压scala-2.10_安装 scala bash: scala: command not found...
2024-01-22 22:24 阅读 阅读全文文章浏览阅读713次。first Codecpublic class Friend { public static void main(String[] args){ System.out.println("BigData:"+"--"+"947967114"); }}1、简单示例首先我们先做一_spark......
2024-01-23 04:54 阅读 阅读全文