学习大数据

HBase 练习查看HBase版本12hbase(main):033:0> version1.4.13, r38bf65a22b7e9320f07aeb27677e4533b9a77ef4, Sun Feb 23 02:06:36 PST 2020 集群状态12hbase(main):034:0> status1 active master, 0 backup masters, 1 servers, 0 dead, 4.0000 average load 创建Teacher表，包含一个列族Info12hbase(main):041:0> create 'Teacher','Info'0 row(s) in 2.3430 seconds 创建Student表，两个列族Info和Score；列族Info的数据在读取时关闭缓存BLOCKCACHE。列族Score内的数据保留2个版本VERSIONS12hbase(main):047:0> create 'Student',{NAME=&g...

HBase 环境部署 官方文档 https://hbase.apache.org/1.4/book.html 下载地址 https://archive.apache.org/dist/hbase/1.4.13/ 安装目录 /opt/bigdata/hbase/ 配置文件 https://hbase.apache.org/1.4/book.html#_configuration_files 部署规划 node0：Standalone node0：Pseudo-Distributed； node1 node2 node3 配置为hbase集群。 Standalone Standalone https://hbase.apache.org/1.4/book.html#quickstart 准备上传12[zhangsan@node0 bigdata]$ cd /opt/bigdata/[zhangsan@node0 bigdata]$ mkdir hbase 使用FTP工具上传压缩包hbase-1.4.13-bin.tar.gz 到/opt/bigdata/hbase 目录...

HBase Source CodeHMaster选举1234567891011121314151617181920212223242526272829303132333435363738394041424344private void startActiveMasterManager(int infoPort) throws KeeperException { String backupZNode = ZNodePaths.joinZNode( zooKeeper.getZNodePaths().backupMasterAddressesZNode, serverName.toString()); /* * Add a ZNode for ourselves in the backup master directory since we * may not become the active master. If so, we want the actual active * master to know we are backu...

Hadoop HANameNode HA修改配置文件core-site.xml1234567891011121314<property> <name>fs.defaultFS</name> <value>hdfs://hdfscluster</value></property><property> <name>dfs.journalnode.edits.dir</name> <value>/opt/bigdata/hadoop/default/tmp/jn</value></property><property> <name>ha.zookeeper.quorum</name> <value>node1:2181,node2:2181,node3:2181</value></property> hdfs-site.xml12...

CDH安装免密登录1234[root@node123 ~]# ssh-keygen[root@node123 ~]# ssh-copy-id node1[root@node123 ~]# ssh-copy-id node2[root@node123 ~]# ssh-copy-id node3 MySQLMySQL Server安装选择一台机器安装MySQL Server，安装过程略，参考 linux 文档。 创建数据库12345678910111213141516171819202122232425create database cmf DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database amon DEFAULT CHARSET utf8 COLLAT...

准备启动HDFS使用用户zhangsan启动HDFS（张三用户已配置免密登录）； 使用用户root执行后续操作。 配置全局环境变量123[root@node0 ~]# vim /etc/profileexport HADOOP_HOME=/opt/bigdata/hadoop/defaultexport PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin/:$PATH Linux本地创建三个文件123[root@node1 ~]# echo "hello hadoop" > file_hadoop[root@node1 ~]# echo "hello hbase" > file_to_append[root@node1 ~]# echo "hello spark" > file_to_move 创建目录在HDFS上创建目录/input，如果创建失败（把root用户加入supergroup） 123456789[root@node0 ~]# groupadd supergr...

Hadoop QAContainer is running beyond virtual memory limitsQ12345678910Application application_1645498549388_0001 failed 2 times due to AM Container for appattempt_1645498549388_0001_000002 `exited with exitCode: -103`For more detailed output, check application tracking page:http://node1:8088/cluster/app/application_1645498549388_0001Then, click on links to logs of each attempt.`Diagnostics: Container [pid=2316,containerID=container_1645498549388_0001_02_000001] is running beyond virtual memor...

Quartz1、Quartz使用1.1 核心类说明Scheduler: 调度器。所有的调度都是由它控制，是Quartz的大脑，所有任务都是由它来管理 Job: 任务，想定时执行的事情(定义业务逻辑) JobDetail: 基于Job，进一步包装。其中关联一个Job，并为Job指定更详细的属性，比如标识等 Trigger: 触发器。可以指定给某个任务，指定任务的触发机制。 1.2 创建项目创建Maven项目 配置GroupId和ArtifactId 1.3导入依赖在pom.xml中引入如下依赖： 1234567<!--Quartz任务调度--><!-- https://mvnrepository.com/artifact/org.quartz-scheduler/quartz --><dependency> <groupId>org.quartz-scheduler</groupId> <artifactId>quartz</artifactId> <version>2...

Lay UI1. 环境搭建1.1 下载在官网https://www.ilayuis.com/即可完成下载。 1.2 创建项目创建Maven项目，选择create from archetype，然后从列表中选择maven-archetype-webapp。 设置项目的GroupId和ArtifactId 1.3 webapp在main目录下，创建java目录，将下载的layui解压到webapp目录内，目录结构如下图： 1.4 导入依赖12345678910<dependency> <groupId>org.apache.tomcat.embed</groupId> <artifactId>tomcat-embed-core</artifactId> <version>9.0.36</version></dependency><dependency> <groupId>org.apache.tomcat.embed</grou...

Spring整合Quartz1. 引入相关依赖引入Spring和Quartz相关依赖 123456789101112131415161718192021222324<properties> <springframework.version>5.1.6.RELEASE</springframework.version> <quartz.version>2.2.3</quartz.version></properties><dependencies> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context-support</artifactId> <version>${springframework.version}</version> ...