前言
有一段時間沒寫文章了,最近事情挺多的,現在咱們回歸正題,經過前面四篇文章的介紹,已經通過VMware安裝了Hadoop的集群環境,相關的兩款軟件VSFTP和SecureCRT也已經正常安裝了。
本篇主要介紹在大數據應用中比較常用的一款軟件Mysql,我相信這款軟件不緊緊在大數據分析的時候會用到,現在作為開源系統中的比較優秀的一款關系型開源數據庫已經被很多互聯網公司所使用,而且現在正慢慢的壯大中。
在大數據分析的系統中作為離線分析計算中比較普遍的兩種處理思路就是:1、寫程序利用mapper-Reducer的算法平臺進行分析;2、利用Hive組件進行書寫Hive SQL進行分析。
第二種方法用到的Hive組件存儲元數據最常用的關系型數據庫最常用的就是開源的MySQL了,這也是本篇最主要講解的。
閑言少敘,進入本篇的內容。
技術準備
VMware虛擬機、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++
軟件下載
我們需要從Mysql官網上選擇相應版本的安裝介質,官網地址如下:
MySQL下載地址:http://www.mysql.com/downloads/
默認進入的頁面是企業版,這個是要收費的,這里一般建議選擇社區開源版本,土豪公司除外。
然后選擇相應的版本,這里我們選擇通用的Server版本,點擊Download下載按鈕,將安裝包下載到本地。
下載完成,上傳至我們要安裝的系統目錄。
這里,需要提示下,一般在Linux系統中大型公用的軟件安裝在/opt目錄中,比如上圖我已經安裝了Sql Server On linux,默認就安裝在這個目錄中,這里我手動創建了mysql目錄。
將我們下載的MySQL安裝介質,上傳至該目錄下。
安裝流程
1、首先解壓當前壓縮包,進入目錄
cd /opt/mysql/
tar -xf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar
這樣,我們就完成了這個安裝包的解壓。
2、創建MySql超級管理用戶
這里我們需要單獨創建一個mySQL的用戶,作為MySQL的超級管理員用戶,這里也方便我們以后的管理。
groupadd mysql
添加用戶組
useradd -g mysql mysql
添加用戶
id mysql
查看用戶信息。
3、安裝mysql RPM安裝包,詳細的過程如下
rpm -ivh *.rpm
這里報了一個錯誤,錯誤明細如下:
之前裝的時候應該不會出現這個錯誤,我查了一下,這個錯誤的原因是因為我現在裝的OS版本為7.0,在CentOS7.0版本中已經嵌入了自帶的數據系統mariadb。
以前的linux系統中大部分的數據庫采用的都是Mysql,但是MYSQL這貨自從被sun收購之后,sun公司叫囂著要收費服務等措施,所以在以后的CentOS系統中就沒有再集成它了,并且又搞出了一個新的數據庫mariadb.所以這里我們安裝mysql會有沖突,這里我們就需要先卸載這個。
卸載過程如下:
<1>列出所有的被安裝的rpm package
rpm -qa | grep mariadb
就是上面這貨,我們需要先卸載它。
<2>卸載mariadb軟件
rpm -e mariadb-libs-5.5.37-1.el7_0.x86_64
結果報錯,丫的不讓你卸載,報錯如下:
這里我們忽視掉這個錯誤信息,采用強制卸載的這個軟件
rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64
這里,可以看到我們已經強制卸載了這個軟件,下面的步驟就是安裝Mysql了。
安裝過程要按照如下順序(必須)進行:
- mysql-community-common-5.7.9-1.el7.x86_64.rpm
- mysql-community-libs-5.7.9-1.el7.x86_64.rpm --(依賴于common)
- mysql-community-client-5.7.9-1.el7.x86_64.rpm --(依賴于libs)
- mysql-community-server-5.7.9-1.el7.x86_64.rpm --(依賴于client、common)
按照以上順序進行一個個的安裝,腳本如下:
rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm
但是,安裝的過程中有可能出現以下錯誤
這個錯誤的提示的是,這里的Server版本需要perl組件進行安裝,所以這里我們需要先將這個組件安裝上去
yum install perl
可以看到這里已經安裝成功了。
下面,我們繼續安裝MYSQL的Server包。
rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm
安裝完上面的rpm包之后,我們就需要配置相關權限,然后啟動serve。
這里需要提示下:
mysql安裝軟件在/usr/share/mysql目錄下
cd /usr/share/mysql/
chown -R mysql:mysql .
下面,我們來啟動這個Server,來查看一下。
這里需要提示一下,應該避免以root用戶啟動,要用我們新建的mysql用戶進行啟動。
service mysqld restart
這時候我們連接之后需要添加上權限。
在/ect/my.cnf 的最后面加上一行:skip-grant-tables
然后重啟服務器就行了。
service mysqld restart
至此,我們完成了MySQL的安裝過程。
結語
此篇先到此吧,關于Hadoop大數據集群的搭建后續依次介紹,比如利用Zookeeper搭建Hadoop高可用平臺、Map-Reducer層序的開發、Hive產品的數據分析、Spark的應用程序的開發、Hue的集群壞境的集成和運維、Sqoop2的數據抽取等,有興趣的童鞋可以提前關注。
本篇主要介紹了Mysql數據庫的安裝,本來打算分析hive的安裝的,下一篇我們繼續。
有問題可以留言或者私信,隨時恭候有興趣的童鞋加大數據平臺深入研究。共同學習,一起進步。
文章的最后給出之前幾篇的基礎篇:
大數據系列(4)——Hadoop集群VSFTP和SecureCRT安裝配置
如果您看了本篇博客,覺得對您有所收獲,請不要吝嗇您的“推薦”。
更有激動者,為您開辟了右側打賞的功能。
文章列表