学习大数据

HBase 练习查看HBase版本12hbase(main):033:0> version1.4.13, r38bf65a22b7e9320f07aeb27677e4533b9a77ef4, Sun Feb 23 02:06:36 PST 2020 集群状态12hbase(main):034:0> status1 active master, 0 backup masters, 1 servers, 0 dead, 4.0000 average load 创建Teacher表，包含一个列族Info12hbase(main):041:0> create 'Teacher','Info'0 row(s) in 2.3430 seconds 创建Student表，两个列族Info和Score；列族Info的数据在读取时关闭缓存BLOCKCACHE。列族Score内的数据保留2个版本VERSIONS12hbase(main):047:0> create 'Student',{NAME=&g...

CDH安装免密登录1234[root@node123 ~]# ssh-keygen[root@node123 ~]# ssh-copy-id node1[root@node123 ~]# ssh-copy-id node2[root@node123 ~]# ssh-copy-id node3 MySQLMySQL Server安装选择一台机器安装MySQL Server，安装过程略，参考 linux 文档。 创建数据库12345678910111213141516171819202122232425create database cmf DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database amon DEFAULT CHARSET utf8 COLLAT...

Lay UI1. 环境搭建1.1 下载在官网https://www.ilayuis.com/即可完成下载。 1.2 创建项目创建Maven项目，选择create from archetype，然后从列表中选择maven-archetype-webapp。 设置项目的GroupId和ArtifactId 1.3 webapp在main目录下，创建java目录，将下载的layui解压到webapp目录内，目录结构如下图： 1.4 导入依赖12345678910<dependency> <groupId>org.apache.tomcat.embed</groupId> <artifactId>tomcat-embed-core</artifactId> <version>9.0.36</version></dependency><dependency> <groupId>org.apache.tomcat.embed</grou...

Hadoop HANameNode HA修改配置文件core-site.xml1234567891011121314<property> <name>fs.defaultFS</name> <value>hdfs://hdfscluster</value></property><property> <name>dfs.journalnode.edits.dir</name> <value>/opt/bigdata/hadoop/default/tmp/jn</value></property><property> <name>ha.zookeeper.quorum</name> <value>node1:2181,node2:2181,node3:2181</value></property> hdfs-site.xml12...

准备启动HDFS使用用户zhangsan启动HDFS（张三用户已配置免密登录）； 使用用户root执行后续操作。 配置全局环境变量123[root@node0 ~]# vim /etc/profileexport HADOOP_HOME=/opt/bigdata/hadoop/defaultexport PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin/:$PATH Linux本地创建三个文件123[root@node1 ~]# echo "hello hadoop" > file_hadoop[root@node1 ~]# echo "hello hbase" > file_to_append[root@node1 ~]# echo "hello spark" > file_to_move 创建目录在HDFS上创建目录/input，如果创建失败（把root用户加入supergroup） 123456789[root@node0 ~]# groupadd supergr...

Hadoop QAContainer is running beyond virtual memory limitsQ12345678910Application application_1645498549388_0001 failed 2 times due to AM Container for appattempt_1645498549388_0001_000002 `exited with exitCode: -103`For more detailed output, check application tracking page:http://node1:8088/cluster/app/application_1645498549388_0001Then, click on links to logs of each attempt.`Diagnostics: Container [pid=2316,containerID=container_1645498549388_0001_02_000001] is running beyond virtual memor...

Quartz1、Quartz使用1.1 核心类说明Scheduler: 调度器。所有的调度都是由它控制，是Quartz的大脑，所有任务都是由它来管理 Job: 任务，想定时执行的事情(定义业务逻辑) JobDetail: 基于Job，进一步包装。其中关联一个Job，并为Job指定更详细的属性，比如标识等 Trigger: 触发器。可以指定给某个任务，指定任务的触发机制。 1.2 创建项目创建Maven项目 配置GroupId和ArtifactId 1.3导入依赖在pom.xml中引入如下依赖： 1234567<!--Quartz任务调度--><!-- https://mvnrepository.com/artifact/org.quartz-scheduler/quartz --><dependency> <groupId>org.quartz-scheduler</groupId> <artifactId>quartz</artifactId> <version>2...

Spring整合Quartz1. 引入相关依赖引入Spring和Quartz相关依赖 123456789101112131415161718192021222324<properties> <springframework.version>5.1.6.RELEASE</springframework.version> <quartz.version>2.2.3</quartz.version></properties><dependencies> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context-support</artifactId> <version>${springframework.version}</version> ...

1. 无密码登录配置修改MySQL配置文件my.ini (C:\ProgramData\MySQL\MySQL Server 5.7\my.ini ) 追加如下行： 1skip-grant-tables = true 作用是使其再次启动时跳过授权表，也就是不用密码就可以登录。 2. 重新启动MySQL 第一种方法：可通过命令重启（cmd需要使用管理员执行） 123C:\WINDOWS\system32>net stop mysql57MySQL57 服务正在停止.MySQL57 服务已成功停止。 第二种方法：可通过 【控制面板 - 系统安全 - 管理工具 - 计算机管理 - 服务和应用程序 - 服务 - MySQL57 - 重启服务】 ，手动重启MySQL服务。 这时，不用密码就可以登录MySQL了。 2. 更换密码123456789C:\Program Files\MySQL\MySQL Server 5.7\bin>mysql -uroot -pEnter password:# 让你输入密码的时候，不用理它，直接回车。# 选择mysql库mysql>...

Kettle连接HadoopLinux软件包1yum -y install redhat-lsb hdfs-site.xml1234<property> <name>dfs.permissions.enabled</name> <value>false</value></property> 复制Hadoop配置文件到Kettle core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 1data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh61 主对象树中配置HadoopCluster 复制文件到HDFSLocal到HDFS MapReduceMapReduce Mapper MapReduce Reduce MapReduce