IT工程師數位筆記本

環境：OS X 10.10.5 + JDK 1.8

步驟：

一、下載ELK的三大組件

Elasticsearch下載地址： https://www.elastic.co/downloads/elasticsearch （目前最新版本：2.1.1）

Logstash下載地址： https://www.elastic.co/downloads/logstash （目前最新版本：2.1.1）

Kibana下載地址： https://www.elastic.co/downloads/kibana （目前最新版本：4.3.1）

下載后將其解壓到某個目錄即可，本文中的解壓目錄為：

~/app/elasticsearch-2.1.1

~/app/logstash-2.1.1

~/app/kibana-4.3.1-darwin-x64

注：這3個組件相互之間的關系及作用如下：

Logstash(收集服務器上的日志文件) --》然后保存到 ElasticSearch（搜索引擎） --》Kibana提供友好的web界面（從ElasticSearch讀取數據進行展示）

二、啟動elasticsearch

2.1

進入elasticsearch目錄\bin

./elasticsearch

順利的話，啟動成功后，在瀏覽器里輸入http://localhost:9200/ 應該能看到類似下面的輸出：

 1 {
 2   "name" : "Atalanta",
 3   "cluster_name" : "elasticsearch",
 4   "version" : {
 5     "number" : "2.1.1",
 6     "build_hash" : "40e2c53a6b6c2972b3d13846e450e66f4375bd71",
 7     "build_timestamp" : "2015-12-15T13:05:55Z",
 8     "build_snapshot" : false,
 9     "lucene_version" : "5.3.1"
10   },
11   "tagline" : "You Know, for Search"
12 }

2.2 安裝kopf插件

先按Ctrl+C停止elasticsearch，接下來準備安裝插件，elasticsearch有大量插件資源，用于增加其功能，bin目錄下，輸入

./plugin list 可以查看當前安裝的插件列表，我們剛剛全新安裝，輸出的是一個空列表，繼續輸入

./plugin install lmenezes/elasticsearch-kopf

將會聯網安裝kopf插件，安裝完成后，再次用./plugin list確認下：

Installed plugins in /Users/yjmyzz/app/elasticsearch-2.1.1/plugins:
    - .DS_Store
    - kopf

如果輸出上述類似，表明kopf安裝成功。

然后重啟elasticsearch，瀏覽器里輸入http://localhost:9200/_plugin/kopf，將會看到類似下面的界面，可以很直觀的看到elasticsearch的一些運行狀況

以上操作都ok后，建議Ctrl+C關掉，改用nohup ./elasticsearch & 將其做為后臺進程運行，以免退出。

三、logstash的啟動與配置

3.1 新建索引配置文件

~/app/logstash-2.1.1/bin 下

mkdir conf

vi conf/logstash-indexer.conf

內容如下：

 1 input {
 2  file {
 3    path => ["/var/opt/log/a.log","/var/opt/log/b.log"]
 4  }
 5 }
 6 
 7 output {
 8   elasticsearch { hosts => ["localhost:9200"] }
 9   stdout { codec => rubydebug }
10 }

上面幾個步驟的意思就是創建一個名為logstash-indexer.conf的配置文件，input{file{...}}部分指定的是日志文件的位置（可以多個文件），一般來說就是應用程序log4j輸出的日志文件。output部分則是表示將日志文件的內容保存到elasticsearch，這里hosts對應的是一個數組，可以設置多個elasticsearch主機，相當于一份日志文件的內容，可以保存到多個elasticsearch中。

至于第9行的stdout，則表示終端的標準輸出，方便部署時驗證是否正常運行，驗證通過后，可以去掉。

3.2 啟動

繼續保持在logstash的bin目錄下，輸入

./logstash -f conf/logstash-indexer.conf

稍等片刻，如果看到Logstash startup completed，則表示啟動成功。然后另開一個終端窗口，隨便找個文本編輯工具（比如：vi），向/var/opt/log/a.log里寫點東西，比如：hello world之類，然后保存。觀察logstash的終端運行窗口，是否有東西輸出，如果有以下類似輸出：

1 {
2        "message" => "hello world",
3       "@version" => "1",
4     "@timestamp" => "2016-01-08T14:35:16.834Z",
5           "host" => "yangjunmingdeMacBook-Pro.local",
6           "path" => "/var/opt/log/a.log"
7 }

說明logstash工作正常，此時瀏覽http://localhost:9200/_search?pretty 也應該能看到一堆輸出，表明elasticsearch接收到logstash的數據了。

四、kibana的配置及啟動

4.1 修改配置文件

~/app/kibana-4.3.1-darwin-x64/config 下有一個配置文件kibana.yml，大概在12行的位置，改成下面這樣：

1 # The Elasticsearch instance to use for all your queries.
2 elasticsearch.url: "http://localhost:9200"

即：指定elasticsearch的訪問位置

4.2 啟動

~/app/kibana-4.3.1-darwin-x64/bin 下，輸入：

./kibana

注：如果啟動不成功，請檢查版本是否為4.3.1，kibana必須與elasticsearch的版本匹配，一般說來，都從官網下載最新版即可。

啟動完成后，在瀏覽器里輸入http://localhost:5601/ 即可看到kibana界面，首次運行，會提示創建index，直接點擊Create按鈕即可。

然后，就能看到類似下面的界面了：

參考文章：

http://baidu.blog.51cto.com/71938/1676798?utm_source=tuicool&utm_medium=referral

https://www.elastic.co/products

http://www.cnblogs.com/yjf512/p/4199105.html

http://kibana.logstash.es/content/