400-650-7353
您所在的位置：首頁 > IT干貨資料 > 大數(shù)據(jù) > 【大數(shù)據(jù)基礎(chǔ)知識】HDFS API之客戶端環(huán)境準備

【大數(shù)據(jù)基礎(chǔ)知識】HDFS API之客戶端環(huán)境準備

  • 發(fā)布： 大數(shù)據(jù)培訓(xùn)
  • 來源：大數(shù)據(jù)干貨資料
  • 2021-03-05 12:07:35
  • 閱讀()
  • 分享
  • 手機端入口

在HDFS API編程之前，我們首先需要把HDFS客戶端環(huán)境準備好。

1.根據(jù)自己電腦的操作系統(tǒng)拷貝對應(yīng)的編譯后的hadoop jar包到非中文路徑(例如：D:\Develop\hadoop-2.7.2)，如圖1所示

圖1 編譯后的hadoop jar包

2.配置HADOOP_HOME環(huán)境變量，如圖2所示

圖2 配置HADOOP_HOME環(huán)境變量

3. 配置Path環(huán)境變量，如圖3所示

圖3 配置Path環(huán)境變量

如果配置成功，可以使用hadoop -version進行校驗，如果報錯：提示JAVA_HOME incorrect，問題原因是由于jdk目錄配置中有空格，比如安裝在c盤下jdk,路徑一般是默認為

C:\program file\Java\jdk1.8.0_144,由于路徑中有空格，所以會報錯。

解決方法：在解壓后的Hadoop安裝包中的etc目錄中找到hadoop-env.cmd(注意windows需要修改hadoop-env.cmd,linux中修改的是hadoop-env.sh),找到配置的JAVA_HOME

改為：C:\PROGRA~1\Java\jdk1.8.0_144

4.創(chuàng)建一個Maven工程HdfsClientDemo

5.導(dǎo)入相應(yīng)的依賴坐標+日志添加

注意：如果eclipse/idea打印不出日志，在控制臺上只顯示

需要在項目的src/main/resources目錄下，新建一個文件，命名為“log4j.properties”，在文件中填入：

6.創(chuàng)建包名：com.root.hdfs

7.創(chuàng)建HDFSApp類

文章“【大數(shù)據(jù)基礎(chǔ)知識】HDFS API之客戶端環(huán)境準備”已幫助 人

>>本文地址：http://liujunjsxg.cn/zhuanye/2021/67528.html

THE END  

聲明:本站稿件版權(quán)均屬中公教育優(yōu)就業(yè)所有，未經(jīng)許可不得擅自轉(zhuǎn)載。

1 您的年齡

2 您的學(xué)歷

3 您更想做哪個方向的工作？

獲取測試結(jié)果
  • 大前端大前端
  • 大數(shù)據(jù)大數(shù)據(jù)
  • 互聯(lián)網(wǎng)營銷互聯(lián)網(wǎng)營銷
  • JavaJava
  • Linux云計算Linux
  • Python+人工智能Python
  • 嵌入式物聯(lián)網(wǎng)嵌入式
  • 全域電商運營全域電商運營
  • 軟件測試軟件測試
  • 室內(nèi)設(shè)計室內(nèi)設(shè)計
  • 平面設(shè)計平面設(shè)計
  • 電商設(shè)計電商設(shè)計
  • 網(wǎng)頁設(shè)計網(wǎng)頁設(shè)計
  • 全鏈路UI/UE設(shè)計UI設(shè)計
  • VR/AR游戲開發(fā)VR/AR
  • 網(wǎng)絡(luò)安全網(wǎng)絡(luò)安全
  • 新媒體與短視頻運營新媒體
  • 直播帶貨直播帶貨
  • 智能機器人軟件開發(fā)智能機器人
 

快速通道fast track

近期開班時間TIME