文章浏览阅读107次。集群容错:1.Nimbus挂掉如果失去了Nimbus节点,Worker也会继续执行;如果workerye消亡,Supervisor会重启worker。但是如果没有Nimbus,worker不会被安排到其他主机节点,客户端也无法提交新的任务。2.zookeeper挂掉zookeepe......
2024-01-22 17:50 阅读 阅读全文文章浏览阅读651次。【学习笔记】大数据技术之ClickHouse_com.clickhouse...
2024-01-22 17:47 阅读 阅读全文文章浏览阅读137次。 2014级《程序设计基础(二)》正式结束,按惯例将数据做个整理。无论师生,都可以从中找出值得自己总结的东西。 程序设计的水平,让代码行来说话。没有有效积累的,抽出时间,希望还在。一......
2024-01-22 17:52 阅读 阅读全文文章浏览阅读1.2k次。文章目录Redis7.1、Redis的介绍7.2、Redis的数据类型7.2.1、String字符串7.2.2、hash列表7.2.3、list7.2.4、set集合7.3、Redis的持久化7.3.1、rdb(保存快照)7.3.2、AOF(预写日志)7.4、缓存雪崩7.4.1、我们为什么要用缓存(Redis)7.......
2024-01-22 17:34 阅读 阅读全文初学者如何入门深度学习:以手写数字字符识别为例看AI 的学习路径,一图胜千言!超多高清大图收集整理,使用PySpark 结合Apache SystemDS 进行信号处理分析 (离散傅立叶变换)的简单例子,使用 pyspark 进行 Clustering 的简单例子 -- KM......
2024-01-23 03:51 阅读 阅读全文文章浏览阅读120次。操作HDFS1、Web Console:端口50070 2、命令行:类似Linux命令 (1)操作命令 hdfs dfs ***** -mkdir 创建目录 举例:hdfs dfs -mkdir /aaa hdfs dfs -mkdir -p /bbb/ccc -p 表示如果父目录不存在 先创建父目录 ......
2024-01-23 01:15 阅读 阅读全文文章浏览阅读412次。大数据分析起点来源于企业的某些个场景需求,根据需求目标,搭建分析框架,提取企业数据,通过多个指标和纬度全方位深入的分析,用合适的BI工具实现分析过程,最后提炼结论,通过可视化大屏展示,......
2024-01-22 19:41 阅读 阅读全文文章浏览阅读285次。Storm的作者是Nathan Marz,Nathan Marz在BackType公司工作的时候有了Storm的点子并独自一人实现了Storm。在2011年Twitter准备收购BackType之际,Nathan Marz为了提高Twitter对BackType的估值,在一篇博客里向外界介绍了Storm。Twit......
2024-01-22 17:50 阅读 阅读全文文章浏览阅读1.3k次。大数据及人工智能可谓是目前最热门的行业,从走在前沿的科技公司,到努力创新的传统行业,几乎都想把握这个新“风口”。一部分学校也走上了大数据的道路。在这里还是要推荐下我自己建的大数据学......
2024-01-22 20:08 阅读 阅读全文文章浏览阅读2.7k次,点赞2次,收藏4次。0.什么是Scala? Scala是运行在 JVM 上的多范式编程语言, 同时支持面向对象和面向函数编程,早期, scala刚出现的时候, 并没有怎么引起重视, 随着Spark和Kafka这样基于scala的大数据框架的兴......
2024-01-22 17:26 阅读 阅读全文