【大數(shù)據(jù)基礎(chǔ)知識】Sqoop概述及安裝配置

Sqoop是一款開源的數(shù)據(jù)傳輸層工具，Sqoop的全稱是sql to Hadoop。通過這個名稱我們可以看出，Sqoop可以完成把關(guān)系型數(shù)據(jù)庫如MySQL，Oracle等數(shù)據(jù)庫中的信息導(dǎo)入到Hadoop文件存儲體系中，或者把Hadoop文件導(dǎo)入到關(guān)系型數(shù)據(jù)庫中。起到了一個非常好的橋梁作用。

Sqoop最早產(chǎn)生于2012 年 3 月，現(xiàn)在已經(jīng)是Apache的一個頂級項目。Sqoop能夠提供多種數(shù)據(jù)傳輸方式并且支持多種數(shù)據(jù)庫，這也是Sqoop被廣泛應(yīng)用的原因。

下面，我們來看Sqoop的安裝部署。

首先，我們在Sqoop安裝之前，要確保已經(jīng)安裝好了Java和Hadoop。這個我們在前面的文章中已有介紹，不太熟悉的朋友可以先參考安裝下哦。

已經(jīng)安裝過其他大數(shù)據(jù)組件的朋友應(yīng)該能夠看到，大數(shù)據(jù)生態(tài)圈組件的安裝不外乎是這樣的幾步：

1. 下載安裝包

2. 解壓縮

3. 修改配置文件

對于Sqoop來說，也不例外。

1. 首先我們下載Sqoop的安裝包，最新的穩(wěn)定版本是1.4.7。我們可以從官網(wǎng)(http://sqoop.apache.org)下載，也可以從最近的一個鏡像網(wǎng)站下載。我選用的下載地址是：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/ 。下載 sqoop-1.4.7.tar.gz壓縮包。下載完成后上傳到虛擬機(jī)。我上傳目錄是/opt/software。或者直接在虛擬機(jī)的客戶端通過wget命令下載：

wget

https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.tar.gz

2.使用tar命令解壓縮

tar –zxvf sqoop-1.4.7.tar.gz –C /opt/

3.修改配置文件

Sqoop的配置文件在Sqoop根目錄下的conf目錄下。配置文件的原有名稱是sqooop-env-template.sh，我們拷貝一份，并將名稱改為sqoop-env.sh。命令如下：

cp sqoop-env-template.sh sqoop-env.sh

在sqoop-env.sh中，修改如下內(nèi)容：

4. 拷貝JDBC驅(qū)動

把JDBC驅(qū)動拷貝到Sqoop根目錄下的lib目錄下，命令如下：

cp mysql-connector-java-5.1.27-bin.jar /opt/sqoop-1.4.7/lib

5.因為到Sqoop-1.4.5及以后版本安裝包的lib下就已經(jīng)沒有了sqoop-1.4.5.jar，Sqoop-1.4.7也沒有sqoop-1.4.7.jar。對于此jar包我們必須單獨(dú)下載，將其放到Sqoop根目錄的lib目錄下。

6. 測試Sqoop是否安裝成功，使用Sqoop根目錄的bin目錄下的sqoop命令來測試。如：

如果能出現(xiàn)上面的信息，就說明Sqoop安裝配置成功了。