学习大数据

Spark环境搭建（一）Local模式 Term Meaning Application User program built on Spark. Consists of a driver program and executors on the cluster. Application jar A jar containing the user’s Spark application. In some cases users will want to create an “uber jar” containing their application along with its dependencies. The user’s jar should never include Hadoop or Spark libraries, however, these will be added at runtime. Driver The process running the main() function of the application and c...

Spark环境搭建（三）Spark On YARN模式 伪分布式配置Spark的Master由YARN的ResourceManager替代，Worker由NodeManager替代。 spark-env.sh1234HADOOP_CONF_DIR=/opt/bigdata/hadoop/default/etc/hadoopYARN_CONF_DIR=/opt/bigdata/hadoop/default/etc/hadoop# 日志服务器HistoryServer配置SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://node0:9000/spark-logs" spark-defaults.conf12345678[zhangsan@node0 conf]$ vim spark-defaults.confspark.master yarn# spark app执行的事件日志会存放到指定的位置spark.eventLog.enabled ...

Spark环境搭建（二）Standalone模式 伪分布式配置包括 Hadoop配置，Master, Worker的通信地址和Web UI的地址 spark-env.sh（Server）1234567# 如果Worker提示JAVA_HOME is not set, 在此文件配置一下JAVA_HOME# JAVA_HOME=${JAVA_HOME}HADOOP_CONF_DIR=/opt/bigdata/hadoop/default/etc/hadoop #读写HDFSSPARK_MASTER_HOST=node0 # Master节点# 日志服务器HistoryServer会去指定的位置读取执行事件日志SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://node0:9000/shared/spark-logs" spark-default-conf（Client）1234567[zhangsan@node0 conf]$ mv spark-defaults.conf....

Spark SteamingStreaming准实时(s)， 微批次 Wordcount测试数据112[root@node0 ~]# yum -y install nc[zhangsan@node0 conf]$ nc -lp 9998 测试数据21234567891011121314151617181920212223242526272829303132package cn.studybigdata.spark.streaming;import java.io.IOException;import java.io.OutputStream;import java.net.ServerSocket;import java.net.Socket;import java.nio.charset.StandardCharsets;public class StreamingMockData { public static void main(String[] args) throws IOException, InterruptedException ...

用户配置 设置root用户密码； 添加普通用户，用户名为自己姓名全拼，如：zhangsan； 配置IP 输入ip addr 查看网卡ip地址，可以看到网卡ens33没有分配到ip。 查看VMWare子网 你配置的静态IP需要为192.168.179.x ，其中 2<x<128。此处我们设置静态IP为192.168.179.100， 编辑网卡ens33对应的配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens33 重启网络服务 systemctl restart network ​ 此时网卡ens33的ip地址为 192.168.179.100 为方便复制代码，后续步骤，最好使用ssh客户端操作。 更换软件源CentOS 7 系统在 2024 年 6 月 30 日结束了官方维护，这意味着：官方提供的 mirrorlist.centos.org 等源地址已经停止服务，无法解析或获取软件包。你的系统里原来的 yum 源配置文件（CentOS-Base.repo）指向的是这些失效地址，所以...

Linux基础知识CentOS各种安装版本1234561、CentOS-7-DVD版本：DVD是标准安装盘，一般下载这个就可以了；2、CentOS-7-NetInstall版本：网络安装镜像；3、CentOS-7-Everything版本：对完整版安装盘的软件进行补充，集成所有软件；4、CentOS-7-LiveGnome版本：GNOME桌面版；5、CentOS-7-KdeLive版本：KDE桌面版；6、CentOS-7-livecd版本：光盘上运行的系统，类拟于winpe。 https://cloud.tencent.com/developer/article/2139042?areaSource=102001.9&traceId=6MeeCaKLlmQUzKBU557lZ 桌面环境xxxxxxxxxx yum install wget -ybash 123 1996年>欧洲>C++语言>QT商业开源>KDE>X-clients1986年>北美>XWindow>...

文件管理 /bin目录/bin目录包含了引导启动所需的命令或普通用户可能用的命令(可能在引导启动后)。这些命令都是二进制文件的可执行程序( bin是binary –二进制的简称)，多是系统中重要的系统文件。 /sbin目录/sbin目录类似/bin ，也用于存储二进制文件。因为其中的大部分文件多是系统管理员使用的基本的系统程序，所以虽然普通用户必要且允许时可以使用，但一般不给普通用户使用。 /etc目录/etc目录存放着各种系统配置文件，其中包括了用户信息文件/etc/passwd，系统初始化文件/etc/rc等。linux正是这些文件才得以正常地运行。 /root目录/root 目录是超级用户的目录。 /lib目录/lib目录是根文件系统上的程序所需的共享库，存放了根文件系统程序运行所需的共享文件。这些文件包含了可被许多程序共享的代码，以避免每个程序都包含有相同的子程序的副本，故可以使得可执行文件变得更小，节省空间。 /...

查看文本文件cat1查看文件全部内容 head12head -n 5 文件名查看文件前5行 tail12tail -n 3 文件名 查看文件后三行 more123分页查看文件内容回车：下一行空格：翻页

系统控制系统注销终止用户与系统的交互进程， end session。 123logoutexitCtrl + d shutdown关机1234567891011121314151617# shutdown (系统1分钟关机，并传送一些消息给正在使用的user) [root@localhost ~]# shutdownShutdown scheduled for Sun 2024-03-03 19:50:08 CST, use 'shutdown -c' to cancel.[root@localhost ~]# Broadcast message from root@localhost.localdomain (Sun 2024-03-03 19:49:08 CST):The system is going down for power-off at Sun 2024-03-03 19:50:08 CST!# 取消关机shutdown -cBroadcast message from root@localhost.localdomain (Sun 2024-...

Linux基础命令目录符号123. : 当前目录.. : 父级目录~ : 用户目录 ls12345list : 列举当前目录或指定目录内的文件ls -l # 文件详细信息ls -a # 可以查看到以.开头的隐藏文件ls /usr # 查看指定目录内的文件 ll # ls -l的简写 cd1change directory : 变更目录 pwd1print name of current/working directory : 打印工作目录 mkdir1make directory：创建文件夹 rmdir1remove directory: 删除文件夹 cp12345copy : 复制cp a.txt b.txtcp a.txt dir1/cp -r dir1 dir2/ mv1move : 移动文件 touch1touch filename # 创建文件 echo1echo "hello world" # 标准输出 输出重定向12345> : 没有则创建，有则覆盖>> : 没有则创建，有则追加echo &...