博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
CHD-5.3.6集群上sqoop安装
阅读量:4702 次
发布时间:2019-06-10

本文共 1330 字,大约阅读时间需要 4 分钟。

Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

对于某些Nosql数据库它也提供了连接器。Sqoop,类似于其他ETL工具,使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。Sqoop专为大数据批量传输设计,能够分割数据集并创建Hadoop任务来处理每个区块。

 

1.解压:

tar -xvf sqoop-1.4.5-cdh5.3.6.tar.gz  -C /home/hadoop/CDH5.3.6

2.进去conf目录

/home/hadoop/CDH5.3.6/sqoop-1.4.5-cdh5.3.6/conf

3.重命名文件

[hadoop@master conf]$ cp  sqoop-env-template.sh  sqoop-env.sh

4.修改配置文件sqoop-env.sh

export HADOOP_COMMON_HOME=/home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6export HADOOP_MAPRED_HOME=/home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6export HIVE_HOME=/home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6

5.验证:

 查看版本:

 

 

 

查看命令怎么用:

bin/sqoop  help list-databases

链接的是MySQL数据库,需要拷贝一个jdbc驱动包

cp /home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6/lib/mysql-connector-java-5.1.46.jar  ./lib/
[hadoop@master lib]$ mysql -u root -pEnter password: mysql> update user set host = '%' where user = 'root';Query OK, 1 row affected (0.00 sec)Rows matched: 1  Changed: 1  Warnings: 0mysql> FLUSH PRIVILEGES;Query OK, 0 rows affected (0.00 sec)

展现数据库有哪些database:

bin/sqoop list-databases \--connect jdbc:mysql://192.168.1.30:3306 \--username root \--password mysql

 

安装完成,sqoop主要作用于export 、import 导入导出,见下次随笔

 

转载于:https://www.cnblogs.com/hello-wei/p/10964899.html

你可能感兴趣的文章
【备忘录】provider, factory, service, hello world example
查看>>
OpenSSL指令---req
查看>>
C#:String.Format数字格式化输出
查看>>
ubuntu下安装pdo和pdo_mysql扩展
查看>>
AngularJS 出现 Uncaught Error: [$injector:modulerr] 的解决办法
查看>>
Win32 多线程学习笔记
查看>>
MySQL高级知识系列目录
查看>>
关于配置禅道的邮件发送
查看>>
两列左侧自适应布局--(来自网易)
查看>>
sql中同一个Trigger里同时包含Insert,Update,Delete
查看>>
[转] handsontable的核心方法
查看>>
[LeetCode]Minimum Path Sum
查看>>
[LeetCode]Surrounded Regions
查看>>
json几个小例子
查看>>
NodePort,LoadBalancer还是Ingress?我该如何选择 - kubernetes
查看>>
day 46 htmljianjie
查看>>
hive表信息查询:查看表结构、表操作等
查看>>
关键字_Volatile
查看>>
Android性能优化典范【转】
查看>>
CentOS7查看和关闭防火墙
查看>>