HBase Thrift
前期准备 https://thrift.apache.org/docs/install/centos.html Git clone失败，可以跳过，直接下载源码包。 下载源码包https://www.apache.org/dyn/closer.cgi?path=/thrift/0.16.0/thrift-0.16.0.tar.gz 编译安装12345(python37) [zhangsan@node0 thrift-0.16.0]$ cd /opt/bigdata/thrift/(python37) [zhangsan@node0 thrift-0.16.0]$ cd thrift-0.16.0(python37) [zhangsan@node0 thrift-0.16.0]$ ./bootstrap.sh(python37) [zhangsan@node0 thrift-0.16.0]$ ./configure(python37) [zhangsan@node0 thrift-0.16.0]$ make 1234[root@node0 thrift-0.16.0]# ma...
Hive
前置条件安装MySQL （参考Linux文档）配置MySQL123456789mysql> CREATE DATABASE hive; mysql> USE hive; -- 创建名为hive、主机为lhost、密码123456的用户；mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY '123456';-- 第二段授权该hive用户对hive数据库所有表拥有全部权限，且允许从任意主机（%）访问，密码同样为123456。mysql> GRANT ALL ON hive.* TO 'hive'@'localhost' IDENTIFIED BY '123456'; mysql> GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY '123456'; mysql> FLUSH...
Kettle - 基于触发器的CDC
Kettle - 基于触发器的CDC相关表student_cdc12345678910111213141516171819202122232425262728293031323334353637383940414243-- ------------------------------ Table structure for student_cdc-- ----------------------------DROP TABLE IF EXISTS `student_cdc`;CREATE TABLE `student_cdc` ( `学号` int(255) NOT NULL AUTO_INCREMENT, `姓名` varchar(255) DEFAULT NULL, `性别` varchar(255) DEFAULT NULL, `班级` varchar(255) DEFAULT NULL, `年龄` varchar(255) DEFAULT NULL, `成绩` varchar(255) DEFAULT NULL, `身高` varchar(255) DEFA...
HTML基础
HTML基础 Hello World123456789101112131415161718<!DOCTYPE html><html><head> <meta charset="utf-8"> <title>Hello World</title></head><body> <h1>我的第一个标题</h1> <p>我的第一个段落。</p> <a href="http://www.baidu.com">这是一个链接</a></body></html> 元素 内容 属性 属性总是以名称/值对的形式出现，比如：name=”value”。 HTML基础注释BEGIN 源码 1<!-- 注释： --> END 标题BEGIN HTML 标题（Heading）是通过 - ...
Java环境变量CLASSPATH的作用
Java环境变量CLASSPATH的作用环境变量环境变量（environment variables）一般是指在操作系统中用来指定操作系统运行环境的一些参数，如：临时文件夹位置和系统文件夹位置等。 环境变量是在操作系统中一个具有特定名字的对象，它包含了一个或者多个应用程序所将使用到的信息。例如Windows和DOS操作系统中的path环境变量，当要求系统运行一个程序而没有告诉它程序所在的完整路径时，系统除了在当前目录下面寻找此程序外，还应到PATH中指定的路径去找。用户通过设置环境变量，来更好的运行进程。[百度百科]http://t.csdn.cn/YSHrP) CLASSPATH 在D:\myclass\目录中创建一个Java文件； 123456public class Dog{public static void main(String [] args){ System.out.println(Dog.class.getSimpleName()+": 666, you found me! "); }} 使用j...
Scala安装与基本使用
Scala简介 Scala运行于Java虚拟机（JVM）之上，并且兼容现有的Java程序 Scala是一门纯粹的面向对象的语言 Scala也是一门函数式编程语言 Scala安装Scala依赖于Java虚拟机，首先需要安装与系统匹配的JDK，此处省略了JDK的安装。 Scala下载我使用的Linux发行版是CentOS7，下载的是rpm 包； Windows下载的是msi包。 如果下载的是scala压缩包，需要把SCALA_HOME/bin追加到PATH环境变量中。 1https://www.scala-lang.org/download/2.12.16.html Linux安装12[root@node0 ~]# chmod +x scala-2.12.16.rpm [root@node0 ~]# rpm -i scala-2.12.16.rpm Windows安装直接双击msi安装即可。 Scala基本使用解释器123456789101112131415[root@node0 ~]# scalaWelcome to Scala 2.12.16 (Java HotSp...
SQLite Python API
导入sqlite31import sqlite3 创建数据库链接1conn = sqlite3.connect("test.db") 获取游标1cursor = conn.cursor() 创建表1cursor.execute("create table user(id int primary key, name varchar(20) )") 插入数据 插入一条数据 12cursor.execute('insert into user(id, name) values (1, \'aaa\')')print(cursor.rowcount) 插入多条数据 executemany(sqlstatement, values) 12cursor.executemany('insert into user(id,name) values (?,?)', [(2, 'AAA'), (3, 'BBB')])print(cursor.ro...
Flume
Flume$FLUME_HOME/conf12[zhangsan@node0 conf]$ mv flume-env.sh.template flume-env.sh[zhangsan@node0 conf]$ mv flume-conf.properties.template flume-conf.properties 配置环境变量Hello Worldsink 到logger配置文件123456789101112131415161718192021# 为agent a1 的各组件命名a1.sources = r1a1.sinks = k1a1.channels = c1# agent a1的一个source在端口44444监听数据a1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# 将event数据记录到控制台a1.sinks.k1.type = logger# 使用一个channel在内存中缓存eventsa1.channels.c1.type...
HBase与MapReduce
HBase与MapReduceHBase可以作为MapReduce的输入数据源，也可以作为MapReduce的输出目的地，甚至可以在MapReduce任务过程中使用HBase来共享资源。 12345678(python37) [zhangsan@node0 default]$ bin/hbase mapredcpSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/bigdata/hbase/hbase-1.4.13/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/opt/bigdata/hadoop/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.cl...
HBase 数据查询
HBase数据查询数据准备创建表创建Student表，两个列族Info和Score； 12hbase(main):047:0> create 'Student','Info','Score'0 row(s) in 2.3500 seconds 插入数据批量插入 No Info Score name age Hadoop HBase Spark 001 qiaofeng 30 93 85 70 002 duanyu 27 95 98 50 003 wangyuyan 18 95 97 92
