前言
經過前三篇文章的介紹,已經通過VMware安裝了Hadoop的集群環境,當然,我相信安裝的過程肯定遇到或多或少的問題,這些都需要自己解決,解決的過程就是學習的過程,本篇的來介紹幾個Hadoop環境中需要用到的軟件,確切的說是兩款:VSFTP和SecureCRT。
閑言少敘,進入本篇的正題。
背景
這里簡要說明下這兩款軟件的作用。
1、VSFTP這個從字面就能理解就是搭建FTP服務器用的,為什么要搭建FTP服務呢?
我相信,如果按部就班的按照我之前的文章全裝Hadoop的童鞋會發現一個很繁瑣的過程,那就是各種配置文件的更改和拷貝,并且,因為我們是在Linux系統中操作,所以需要各種命令的熟練操作,是不是很惡心!
所以為了方便上述流程的操作,就需要搭建VSFTP環境,并且配合Notepad++這款軟件的使用,會讓你插上夢想的翅膀....飛啊飛...
當然,還有一點就是,一般我們都是遠程操作的,FTP上傳下載文件就更方便了。
2、SecureCRT這個軟件是干嘛用的?
先來段官網的介紹,SecureCRT是一款支持SSH(SSH1和SSH2)的終端仿真程序,同時支持Telnet和rlogin協議。SecureCRT是一款用于連接運行包括Windows、UNIX和VMS的遠程系統的理想工具。通過使用內含的VCP命令行程序可以進行加密文件的傳輸。
說的簡單點,就是通過這個軟件遠程操作CentOS操作系統。我相信用弄過Linux操作系統,這個應該很熟悉。
技術準備
VMware虛擬機、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++
安裝流程
以上軟件需要自行從網上下載,文章最后也能給出部分軟件的下載附件。
下面,咱們進去分布式系統的詳細操作過程。
1、首先來配置VSFTP環境(root)。
這里的操作需要提權用超級管理員進行安裝,而且一般只需要配置Master主機就可以了,因為大部分操作通過Master就可以進行控制。
- 第一步就是檢查VSFTP是否已經安裝,檢查方法如下。
chkconfig | grep vsftpd
如果跟上面的過程沒有返回任何結果,那么說明當前機器沒有安裝VSFTP。
- 第二步,利用yum命令直接下載安裝
這里,如果經過上一步驟檢查,發現安裝,則利用yum命令進行下載安裝,需要提示的是:這里機器需要聯網。
yum -y install vsftpd
經過,上述步驟就可以成功的安裝VSFTP軟件了。
下一步,就是進行一些FTP的配置了。
- 第三步,手動創建FTP軟件的Log日志文件。
這里需要手動的創建一個文件,目的是來記錄Log日志。我們知道在Linux系統中一般所有的臨時文件都放在系統自帶的var目錄下。
touch /var/log/vsftpd.log
- 第四步,將FTP的服務設置成自啟動,這樣就能開機就能使用。
這里,需要將我們下載的VSFTP服務設置成自啟動,方便與我們的的使用。
chkconfig vsftpd on
經過上面的驗證,我們已經確保vsftpd服務已經開機自啟動。
當然,對于這個服務的啟動和關閉,可以通過如下方式進行手動的設置。但是這種設置只要一重啟服務器就會失效。
啟動ftp服務:service vsftpd start 查看ftp服務狀態:service vsftpd status 重啟ftp服務:service vsftpd restart 關閉ftp服務:service vsftpd stop |
- 第五步,配置VSFTP服務的配置文件。
ls /etc/vsftpd
進入vsftpd的安裝目錄,需要配置vsftpd.conf文件。
vim /etc/vsftpd/vsftpd.conf
anonymous_enable=YES --> anonymous_enable=NO //不允許匿名用戶訪問,默認是允許 xferlog_file=/var/log/vsftpd.log #設定vsftpd的服務日志保存路徑。注意,該文件默認不存在。必須要手動touch出來 #idle_session_timeout=600 --> idle_session_timeout=600 //會話超時,客戶端連接到ftp但未操作,默認被注釋掉,可根據個人情況修改 #async_abor_enable=YES --> async_abor_enable=YES //支持異步傳輸功能,默認是注釋掉的,去掉注釋 #ascii_upload_enable=YES --> ascii_upload_enable=YES //支持ASCII模式的下載功能,默認是注釋掉的,去掉注釋 #ascii_download_enable=YES --> ascii_download_enable=YES //支持ASCII模式的上傳功能,默認是注釋掉的,去掉注釋 #ftpd_banner=Welcome to blah FTP service //FTP的登錄歡迎語,本身是被注釋掉的,去不去都行 #chroot_local_user=YES --> chroot_local_user=YES //禁止本地用戶登出自己的FTP主目錄,本身被注釋掉,去掉注釋 |
按照上面的步驟進行配置就可以了。
最后,給出一些其它配置的信息,可以根據自己需要進行配置。
local_enable=YES //允許本地用戶訪問,默認就是YES,不用改 write_enable=YES //允許寫入,默認是YES,不用改 local_umask=022 //上傳后文件的權限掩碼,不用改 dirmessage_enable=YES //開啟目錄標語,默認是YES,開不開無所謂,我是默認就行 xferlog_enable=YES //開啟日志,默認是YES,不用改 connect_from_port_20=YES //設定連接端口20 xferlog_std_format=YES //設定vsftpd的服務日志保存路徑,不用改
pam_service_name=vsftpd //設定pam服務下vsftpdd的驗證配置文件名,不用改 userlist_enable=YES //拒絕登錄用戶名單,不用改 TCP_wrappers=YES //限制主機對VSFTP服務器的訪問,不用改(通過/etc/hosts.deny和/etc/hosts.allow這兩個文件來配置) |
到此,我們的VSFTP軟件已經安裝完成,下面我們就來驗證一下。
- 第六步,驗證VSFTP服務。
其實這里驗證的方式就比較多了,比如我們常用的FTP軟件都可以,或者你直接在命令行里面敲FTP命令驗證也是可以的;
這里我們直接使用Notepad++軟件進行編輯,因為我們的大部分操作都是對文件進行編輯,所以這里就推薦這個了。
關于,Notepad++軟件的配置使用,這里就不介紹了,很簡單,綠色軟件下載下來就能使用,連安裝都不需要。
點擊按鈕,進行FTP配置,過程很簡單,這里我就不贅述了。
其它選項,一般默認就可以了,當然可以根據需要自行配置。
這里,我再鏈接的時候提示連接失敗,所以這里需要幾個點需要配置一下:
<1>關閉防火墻。<2>關閉SELinux服務,編輯 "/etc/selinux/config"文件,設置"SELINUX=disabled"。
然后最重要的一點就是:記得在配置完成配置文件之后,一定要重啟VSFTP服務!!!實在不行,就重啟服務器。
腳本如下:
service vsftpd restart
然后,再嘗試進行重新連接。
好,至此,我們已經能夠通過FTP直接連接到我們的Hadoop Master主機的目錄了,但是從上面的界面可以看到這里默認的目錄只是hadoop用戶進入的目錄。
顯然,這樣是不行,因為我們配置的信息基本都是分布于系統的/etc目錄下,所以我們需要將VSFTP的默認設置路徑進行更改。
在配置文件中增加以下內容:
# add root path local_root=/ chroot_local_user=YES anon_root=/
然后,重啟VSFTP的服務,重新連接服務器就可以了。
看上去是不是清爽多了。在這里,我們更改配置文件就簡單多了,會用記事本程序就可以操作,而且避免了一些復雜的linux命令,神馬Vim等,讓他們去死。
看上去是不是清爽多了,而且上傳和下載個文件都是那么容易的。
所以,總之一句話:這款軟件你值得擁有!
2、使用SecureCRT軟件遠程管理Linux操作系統
這里關于 SecureCRT軟件的使用就很簡單了,基本沒有啥復雜的配置,就是一個遠程操作軟件,屬于用戶密碼就可以直接操作。
更主要的這款軟件和上面的Notepad++一樣,純綠色版的,直接雙擊就可以使用。
下面,我們來演示下。
- 點擊按鈕,創建回話
- 然后, 編輯連接信息,記住這里要選擇SSH2這種方式。
- 編輯連接信息,輸入用戶名
- 最后,選擇一種FTP連接協議,這里選擇默認就可以了。
- 給當前的連接起一個名字就可以了。
在完成配置的時候,記得將如下兩個選項勾選上。
- 然后選擇相應的服務器,連接就可以了,這里一般我們需要管理多臺服務器,所以按照上面的步驟將所需要的都進行配置。
在第一次連接的時候,需要生成密鑰,這里記得選擇接受并保存按鈕。這樣下次就不需要輸入任何密碼了。
連接成功之后就是上面的德行了,是不是很酷?
哈哈...這里還需要幾個小細節的設置,來提示下,首先顯示的字體和顏色,需要從這里設置:
這里選擇的仿真終端要選擇Linux,告訴軟件,我連接的是Linux系統。讓他自動識別某些命令。
然后,就是字符編碼和顯示字體,顏色等了,可以根據自己喜好進行選擇,但是編碼方式一定要選擇UTF-8這種方式,因為只有這種方式顯示的中文文件才不至于亂碼!
然后,就可以在窗口中進行命令的操作了。簡單大氣,非常實用的一款軟件。
然后,就是各種玩了。
結語
此篇先到此吧,關于Hadoop大數據集群的搭建后續依次介紹,比如利用Zookeeper搭建Hadoop高可用平臺、Map-Reducer層序的開發、Hive產品的數據分析、Spark的應用程序的開發、Hue的集群壞境的集成和運維、Sqoop2的數據抽取等,有興趣的童鞋可以提前關注。
本篇主要介紹了在我們日常進行遠程Linux系統管理所需要的兩款實用軟件...當然,這些只是一些工具,所帶來的好處就是方便操作。這里需要強調的是:基礎積累很重要!
最后給出軟件的安裝介質,算了,博客園限制大小,上傳失敗,可以私信聯系我,大家可以自行官網下載,我是不推薦盜版的,你懂得。
有問題可以留言或者私信,隨時恭候有興趣的童鞋加大數據平臺深入研究。共同學習,一起進步。
文章的最后給出之前幾篇的基礎篇:
如果您看了本篇博客,覺得對您有所收獲,請不要吝嗇您的“推薦”。
更有激動者,為您開辟了右側打賞的功能。
文章列表