网友收藏大数据开发教程——Apache Hive基础_hive 版本-CSDN博客
文章浏览阅读590次。Hive是Hadoop下的顶级 Apache项目，早期的Hive开发工作始于2007年的 Facebook。它可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。Hive的优点是学......
网友收藏阅读全文
网友收藏网友收藏大数据开发复习Spark篇_spark针对批处理采用的数据抽象分别是什么?-CSDN博客
文章浏览阅读1.5k次。11、spark11.1、spark介绍Apache Spark是用于大规模数据处理的统一分析计算引擎Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之......
网友收藏一文搞懂ETL和ELT的区别_java_大数据技术派-华为云开发者联盟
在过去的十年，我们对存储和管理数据的方式发生了很大的变化，并从ETL模式逐渐转向ELT，然而，小编认为这并不会是终点；未来极有可能会向EL(T)发展，也就是EL和T进行完全解耦。当然这只是... 大数据技术派 华为云开发者联......
网友收藏Hadoop大数据开发基础系列：五、MapReduce进阶编程_在驱动类中,需要使用( )方法设置输出数据的格式-CSDN博客
文章浏览阅读4.7k次，点赞13次，收藏37次。五、MapReduce进阶编程目录：1.筛选日志文件并生成序列化文件2.HadoopJavaAPI读取序列化日志文件3.优化日志文件统计程序4.Eclipse提交日志文件统计程序5.小结6.实训7.小练习任务背景：网站运......
网友收藏处理大数据的关键技术及应用_数据开发与数据服务关键技术解决方案csdn-CSDN博客
文章浏览阅读1.4k次。 数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖......
网友收藏大数据开发教程——Apache Hive实战_apache hive mod-CSDN博客
文章浏览阅读170次。领取更多大数据开发学习教程以下是正文：CTAS – Create Table As SelectCREATE TABLE ctas_employee as SELECT * FROM employee（基于select查询的结果生成表）CTAS CANNOT create a partition, external, or bucket table（不能生成分区表，外部......
网友收藏大数据DTSpark"蘑菇云"行动之 第一课：Scala语言开发环境搭建_第1关:scala语言开发环境的部署-CSDN博客
文章浏览阅读693次。大数据DTSpark”蘑菇云”行动学习之路第一课——Scala语言开发环境搭建 第一次听王家林老师的课，感觉很不错，特别是家林老师对技术的那种热情深深的感染了我。希望在以后的日子学有所成，在此非常......
网友收藏大数据处理需要用到的编程语言开发语言_量化派现状-CSDN博客
文章浏览阅读4.2w次，点赞5次，收藏24次。你有一个大数据项目，你知道问题领域（problem domain），也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言......
网友收藏2022年4月归档(20220404-202204)_菜菜的大数据开发之路的博客-CSDN博客
4.＜tag-排序和TopK问题的三种典型解法＞补充: 面试题 17.14. 最小K个数 + lt.215-数组中的第K个最大元素 dbc,23.＜tag-二叉树和树的链化问题＞补充: 剑指 Offer 36. 二叉搜索树与双向链表(同lt.426. 将二叉搜索树转化为双向链表) dbc,22.＜tag......
网友收藏大数据最佳实践-基于Spark的ETL开发_spark 处理etl的事情-CSDN博客
文章浏览阅读665次。目录数据同步 RDMBS to RDMBS数据同步 Hive to Hive数据同步 RDBMS to Hive数据同步 hive to rdmbsHDFS 数据监控数据同步 file to hbase数据同步 RDMBS to RDMBSpackage com.sutpc.bigdata.syncimport java.util.Propertiesimport org.apache.log4j.{Level, Logg......
