文章浏览阅读702次。GraphX之PageRank算法原理及Spark实现什么是PageRank简单PageRank算法终止问题陷阱问题完整PageRank算法Spark实现RageRankSpark GraphX 图算法：PageRank什么是PageRankPageRank对网页排名的算法，曾是Google发家致富的法宝，PageRank......

文章浏览阅读267次。Spark SQL概念和用途看官网介绍，Spark SQL是Apache Spark用于处理结构化数据的模块。一、集成将SQL查询与Spark程序无缝混合。Spark SQL允许您使用SQL或熟悉的DataFrame API在Spark程序中查询结构化数据。可用于Java，Scala......

文章浏览阅读854次。大数据Spark “蘑菇云”行动前传Scala专家之路第28课：Scala隐式转换内幕实践解密大数据Spark “蘑菇云”行动前传Scala专家之路第28课：Scala隐式转换内幕实践解密1 Scala隐式转换内幕2 Scala作用域3 Scala隐式转换思......

文章浏览阅读2.7k次。1.Spark Streaming是什么Spark Streaming用于流式数据的处理，SparkStreaming支持的数据源很多，例如Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等，数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等......

文章浏览阅读1.6w次，点赞9次，收藏18次。刚部署好的spark,启动时报异常,JAVA_HOME is not set.排查后发现,在sbin目录下的spark-config.sh文件下未添加JAVA_HOME的索引.在该文件下添加jdk的路径,再分发到各个节点上就可以了 ..._starrocks部署brok......

文章浏览阅读1.6w次，点赞9次，收藏18次。刚部署好的spark,启动时报异常,JAVA_HOME is not set.排查后发现,在sbin目录下的spark-config.sh文件下未添加JAVA_HOME的索引.在该文件下添加jdk的路径,再分发到各个节点上就可以了 ..._starrocks部署brok......

文章浏览阅读159次。RDD ---弹性分布式数据集 RDD概述 RDD论文 中文版 : http://spark.apachecn.org/paper/zh/spark-rdd.html RDD产生背景 为了解决开发人员能在大规模的集群中以一种容错的方式进行内存计算，提出了 RDD 的概念，而当前的很多框......

文章浏览阅读7k次。好几个spark streaming的程序同时运行，发现spark报出了如下错误：ERROR DFSClient: Failed to close inode 23828org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease o_error hdfs.dfsclient: failed to clo......

文章浏览阅读911次。问题详情iling Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, nulljava.lang.NullPointerException at scala.collection.mutable.ArrayOps$ofRef$.newBu..._failing oozie launcher, null java.security.privilegedactionexcept......

文章浏览阅读1.2k次。[root@master01 ~]# spark-shellSetting default log level to “WARN”.To adjust logging level use sc.setLogLevel(newLevel).Welcome to____ __/ / ___ / /\ / _ / _ `/ __/ '/// .__/_,// ..._setting default log level to "warn". to adjust logging level ......