yilan1993擅长云计算,分布式,算法导论,等方面的知识,yilan1993关注linux领域....
2023-10-13 07:19 阅读 阅读全文Flink Runtime 1.0 Notes: Task Execution(1),RDD api整理,Spark Streaming原理简析,分布式计算,mapreduce,数据处理...
2024-01-24 09:29 阅读 阅读全文sunxiner擅长分布式,流式计算,strom,等方面的知识...
2023-10-14 08:36 阅读 阅读全文文章浏览阅读180次。问题集锦01正文01scala与spark scala是spark内核的实现语言,版本对应是这样的spark1.6 对应 scala 2.10实际上scala的更高版本也是可以的。spark1.6需要运行在java1.7上,python2.6上。java1.6到java1.7增添了maven包管理器,java1.......
2024-01-23 05:06 阅读 阅读全文zookeeper分布式集群中基于Curator实现单点设备上线下线心跳感知系统(二),zookeeper分布式集群Curator的分布式long型计数器DistributedAtomicLong,zookeeper分布式集群Curator的分布式整型int计数器SharedCount,Hadoop,分布式计算,大数据...
2024-01-22 21:34 阅读 阅读全文shuffle阶段数据的压缩机制,MapReduce一次读取多个文件(获取数据所在文件的名称),如何能让Map端和Reduce端达到最优?...
2024-01-23 01:45 阅读 阅读全文比较 Spark 和 MapReduce 执行迭代应用Pagerank的性能差异,Spark Transitive Closure,Spark Monte Carlo,mapreduce,大数据,分布式...
2023-11-11 22:22 阅读 阅读全文文章浏览阅读2.8w次。一、 对于安装有spark的集群的节点要做好时间同步问题,因为节点的心跳机制需要系统时间。解决办法一:通过securecrt同时向多个tab窗口发送相同的时间调整命令a.选择菜单栏View -->ChatWindows 对号......
2024-01-23 09:04 阅读 阅读全文