文章浏览阅读2.8k次。Nginx:Nginx是一个高性能的HTTP和反向代理服务器。是一款轻量级的web服务器/反向代理服务器/电子邮件(IMAP/POP3)代理服务器单台物理服务器可支持30 000~50 000个并发请求。ApacheApache是以进程为基础的结构,......
2023-11-11 12:50 阅读 阅读全文文章浏览阅读5k次,点赞3次,收藏14次。开始安装部署spark1. 编辑 spark-env.sh我的配置:export SPARK_HOME=/home/hadoop/spark-2.4.3-bin-hadoop2.7export SCALA_HOME=/usr/local/scala-2.11.8export JAVA_HOME=/usr/local/javaexport HADOOP_HOME=/home/hadoop..._配置 spark.local.dir ......
2024-01-24 09:48 阅读 阅读全文文章浏览阅读1.3w次。spark 启动报错 -- 主机别名_set spark_local_ip if you need to bind to another address...
2024-01-24 00:35 阅读 阅读全文文章浏览阅读379次。今天终于要开始来写一写分布式计算的那些拧巴事儿了!我之前一直有个误解,以为 Spark和Hdfs是两个互相取代的东西,Hdfs和MapReduce是绑在一起的。最近才发现,完全不是这样... 正确的理解应该是:Spark和Map......
2024-01-23 23:26 阅读 阅读全文文章浏览阅读158次。使用load data,把文件复制或移动到表的目录中,把数据导入hive的表或分区使用insert语句把数据从一个hive表填充到另一个在新建表的时候使用 CTAS 语句,CTAS 是 create table … as select 的缩写数据从关系型数据库......
2024-01-12 19:42 阅读 阅读全文文章浏览阅读1.6k次。1.上传安装,解压●解压重命名cd /export/serverstar spark-2.2.0-bin-2.6.0-cdh5.14.0.tgzmv spark-2.2.0-bin-2.6.0-cdh5.14.0 spark1234●注意:如果有权限问题,可以修改为root,方便学习时操作,实际中使用运维分配的用户和权限即......
2024-01-24 00:27 阅读 阅读全文文章浏览阅读357次。flink的本地运行模式:LocalEnvironmentspark也是可以启动本地运行模式的:val session: SparkSession = SparkSession.builder().appName(“dimension”).master(“local”).getOrCreate()本地运行模式的启用。可以便于后续的代码调试操作的......
2024-01-24 00:26 阅读 阅读全文文章浏览阅读397次。最近总结了一些关于spark core的内容,今天先来和大家分享一下spark的运行模式。spark运行模式(1)local:在本地eclipse、IDEA中写spark代码运行程序,一般用于测试(2)standalone:spark自带的资源调度框架,支持......
2024-01-24 04:39 阅读 阅读全文文章浏览阅读484次。0、前言我们先来看一下,spark提交任务的脚本,这里的deploy-mode就是本篇文章的重点,表示着提交模式,分别只有client客户端模式和cluster集群模式spark-submit --master yarn \--deploy-mode cluster \--driver-memory 1g \--executor......
2024-01-24 07:40 阅读 阅读全文文章浏览阅读1.3k次。使用端口模式启动浏览器找到chromium安装位置,默认位置如下C:\Users\user\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\chrome-win32cmd 执行chrome.exe --disable-infobars --remote-debugging-port=9222在打开的chromium 浏览器输入http:/......
2023-11-11 22:11 阅读 阅读全文