Sqoop的安裝與使用詳細教程
本文我們介紹一個非常好用的數據傳輸工具——Sqoop。Sqoop是一款開源的工具，主要用於在Hadoop與傳統數據庫間進行數據的傳遞，可以將一個關系型數據庫（例如：MySQL，Oracle，Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型數據庫中。Sqoop項目開始於2009年，最早是作為Hadoop的一個第三方模塊存在，後來為瞭讓使用者能夠快速部署，也為瞭讓開發人員能夠更快速的迭代開發，Sqoop獨立成為一個Apache項目。關註專欄《破繭成蝶——大數據篇》，查看更多相關的內容~
一、Sqoop的安裝
1.1 下載上傳安裝包
1、首先下載安裝包，點擊此處進行下載。
2、將下載的安裝包上傳到集群中，解壓到相關目錄並重命名。
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C ../modules/ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop
1.2 修改配置文件
1、首先重命名sqoop-env-template.sh文件
[root@master conf]# mv sqoop-env-template.sh sqoop-env.sh
2、在sqoop-env.sh中添加各組件的路徑
export HADOOP_COMMON_HOME=/opt/modules/hadoop-2.7.2 export HADOOP_MAPRED_HOME=/opt/modules/hadoop-2.7.2 export HIVE_HOME=/opt/modules/hive export ZOOKEEPER_HOME=/opt/modules/zookeeper-3.4.10 export ZOOCFGDIR=/opt/modules/zookeeper-3.4.10 export HBASE_HOME=/opt/modules/hbase
1.3 拷貝JDBC驅動
拷貝MySQL的驅動包到Sqoop的lib目錄下：
[root@master software]# cp ./mysql-connector-java-5.1.47.jar /opt/modules/sqoop/lib/
1.4 驗證Sqoop是否安裝成功
bin/sqoop help
出現上圖的內容說明安裝成功。
二、Sqoop的導入導出
2.1 測試連接數據庫
bin/sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password p@ssw0rd
2.2 MySQL導入數據到HDFS
1、首先在MySQL數據庫（xzw）中新建一張people表，如下所示：
create table people(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
insert into people(name, sex) values('xzw', 'Male');
insert into people(name, sex) values('fq', 'FeMale');
2、全量導入
bin/sqoop import \ --connect jdbc:mysql://master:3306/xzw \ --username root \ --password p@ssw0rd \ --table people \ --target-dir /user/sqoop/people \ --delete-target-dir \ --num-mappers 1 \ --fields-terminated-by ","
使用如下命令查看導入的結果：
3、查詢導入
bin/sqoop import \ --connect jdbc:mysql://master:3306/xzw \ --username root \ --password p@ssw0rd \ --target-dir /user/sqoop/people \ --delete-target-dir \ --num-mappers 1 \ --fields-terminated-by "," \ --query 'select name,sex from people where id <=1 and $CONDITIONS;'
查看導入結果：
這裡需要註意的是，如果query後使用的是雙引號，則$CONDITIONS前必須加轉義符\，防止shell識別為自己的變量。如果使用的是單引號，則不需要加。
4、導入指定列
bin/sqoop import \ --connect jdbc:mysql://master:3306/xzw \ --username root \ --password p@ssw0rd \ --target-dir /user/sqoop/people \ --delete-target-dir \ --num-mappers 1 \ --fields-terminated-by "," \ --columns id,sex \ --table people
查看結果：
這裡需要註意的是，columns中如果涉及到多列，用逗號分隔，分隔時不要添加空格。
5、使用sqoop關鍵字篩選查詢導入數據
bin/sqoop import \ --connect jdbc:mysql://master:3306/xzw \ --username root \ --password p@ssw0rd \ --target-dir /user/sqoop/people \ --delete-target-dir \ --num-mappers 1 \ --fields-terminated-by "," \ --table people \ --where "id=1"
查看結果：
2.3 MySQL導入數據到Hive
bin/sqoop import \ --connect jdbc:mysql://master:3306/xzw \ --username root \ --password p@ssw0rd \ --table people \ --num-mappers 1 \ --hive-import \ --fields-terminated-by "," \ --hive-overwrite \ --hive-table hive_people
該過程分為兩步，第一步將數據導入到HDFS，第二步將導入到HDFS的數據遷移到Hive倉庫。這裡需要註意的是，Hive中的表不需要提前創建，Sqoop會在導數據的過程中自動創建表。
2.4 MySQL導入數據到HBase
bin/sqoop import \ --connect jdbc:mysql://master:3306/xzw \ --username root \ --password p@ssw0rd \ --table people \ --columns "id,name,sex" \ --column-family "info" \ --hbase-create-table \ --hbase-row-key "id" \ --hbase-table "hbase_people" \ --num-mappers 1 \ --split-by id
這裡需要註意的是，需要提前將HBase表建好：
create 'hbase_people','info'
2.5 HDFS導出數據到MySQL
bin/sqoop export \ --connect jdbc:mysql://master:3306/xzw \ --username root \ --password p@ssw0rd \ --table people \ --num-mappers 1 \ --export-dir /user/sqoop/people \ --input-fields-terminated-by ","
這裡需要註意的是，如果MySQL中不存在表，不會自動創建，簡言之就是在執行導出之前需要在MySQL中創建好表。
三、Sqoop腳本打包
我們使用opt格式的文件打包Sqoop命令，然後執行，具體如下。
首先在Sqoop的安裝目錄新建目錄opt，並編寫腳本如下：
export --connect jdbc:mysql://master:3306/xzw --username root --password p@ssw0rd --table people --num-mappers 1 --export-dir /user/sqoop/people --input-fields-terminated-by ","
然後使用如下命令執行腳本：
bin/sqoop --options-file opt/HDFSToMySQL.opt
到此這篇關於Sqoop的安裝與使用詳細教程的文章就介紹到這瞭,更多相關Sqoop安裝與使用內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！
到此這篇關於Sqoop的安裝與使用詳細教程的文章就介紹到這瞭,更多相關Sqoop安裝與使用內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！
推薦閱讀：
- None Found