Memcache知識點梳理 - tuyile006－IT工程師數位筆記本

文章出處

Memcache知識點梳理

Memcached概念：
Memcached是一個免費開源的，高性能的，具有分布式對象的緩存系統，它可以用來保存一些經常存取的對象或數據，保存的數據像一張巨大的HASH表，該表以Key-value對的方式存在內存中。
官網下載地址： http://www.memcached.org/
運行環境： linux，BSD，windows都可跑
協議理論：http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt （英文）

操作流程：

1、檢查客戶端的請求數據是否在memcached中，如有，直接把請求數據返回，不再對數據庫進行任何操作，路徑操作為①②③⑦。
2、如果請求的數據不在memcached中，就去查數據庫，把從數據庫中獲取的數據返回給客戶端，同時把數據緩存一份到memcached中（memcached客戶端不負責，需要程序明確實現），路徑操作為①②④⑤⑦⑥。
3、每次更新數據庫的同時更新memcached中的數據，保證一致性。
4、當分配給memcached內存空間用完之后，會使用LRU（Least Recently Used，最近最少使用）策略加上到期失效策略，失效數據首先被替換，然后再替換掉最近未使用的數據。

Memcached特征：
協議簡單
   它是基于文本行的協議，直接通過telnet在memcached服務器上可進行存取數據操作
基于libevent事件處理
    Libevent是一套利用C開發的程序庫，它將BSD系統的kqueue,Linux系統的epoll等事件處理功能封裝成一個接口，與傳統的select相比，提高了性能。
內置的內存管理方式
    所有數據都保存在內存中，存取數據比硬盤快，當內存滿后，通過LRU算法自動刪除不使用的緩存，但沒有考慮數據的容災問題，重啟服務，所有數據會丟失。
分布式
   各個memcached服務器之間互不通信，各自獨立存取數據，不共享任何信息。服務器并不具有分布式功能，分布式部署取決于memcache客戶端。

Memcached安裝與啟動：
安裝memcached需要先安裝libevent

Shell>tar zxvf libevent-1.4.14b-stable.tar.gz
Shell>cd libevent-1.4.14b-stable
Shell>./configure
Shell>make && make install

安裝memcached

Shell>tar zxvf memcached-1.2.5.tar.tar
Shell>cd memcached-1.2.5
Shell>./configure –prefix=/usr/local/memcached
Shell>make && make install

啟動memcached
Shell>/usr/local/memcached/bin/memcached –p 11211 –d –u root –P /tmp/memcached.pid

-P是表示使用TCP，默認端口為11211
-d表示后臺啟動一個守護進程(daemon)
-u表示指定root用戶啟動，默認不能用root用戶啟動
-P表示進程的pid存放地點，此處“p”為大寫“P”
-l，后面跟IP地址，手工指定監聽IP地址，默認所有IP都在監聽
-m后面跟分配內存大小，以MB為單位，默認為64M
-c最大運行并發連接數，默認為1024
-f 塊大小增長因子，默認是1.25
-M 內存耗盡時返回錯誤，而不是刪除項，即不用LRU算法

在64位系統中，會報libevent-1.4.so.2文件無法找到，解決辦法是把32位目錄里的同名文件鏈接至64位目錄中，即像windows那樣建立快捷方式。
Shell > /usr/local/lib/libevent-1.4.so.2 /usr/lib64/libevent-1.4.so.2
啟動后如果發現沒有端口在監聽，是因為命動命令時帶pid參數的“p”是大寫“P”，你可能寫成小寫了。

命令行直接操作命令

存，有六個命令項。

Set：添加一個新條目到memcached或是用新的數據替換替換掉已存在的條目
Add：當KEY不存在的情況下，它向memcached存數據，否則，返回NOT_STORED響應
Replace：當KEY存在的情況下，它才會向memcached存數據，否則返回NOT_STORED響應
Cas:改變一個存在的KEY值，但它還帶了檢查的功能
Append:在這個值后面插入新值
Prepend:在這個值前面插入新值

取，有兩個命令項：

Get:取單個值，從緩存中返回數據時，將在第一行得到KEY的名字，flag的值和返回的value長度，真正的數據在第二行，最后返回END，如KEY不存在，第一行就直接返回END
Get_multi：一次性取多個值

刪除，一個命令：

Delete

實例操作：
先連接到memcache

shell>telnet 127.0.0.1 11211

在入數據

Set liuguohua 0 0 21
369369.blog.51cto.com

回車后系統自動保存，并返回正常值STORED
存入命令格式為
<command> <key> <flags> <exptime> <bytes> \r\n
注意在設定bytes字節后，存入的值的長度一定要與之匹配，否則無法保存成功，像liuguohua字段為21字節，所以存入的369369.blog.51cto.com長度為21（總計為21個數字或字母）。

取數據

Get liuguohua

回車后，第一行返回VALUE liuguohua 0 21
第二行，返回真正值369369.blog.51cto.com

Memcached的內存算法：
Memcached利用slab allocation機制來分配和管理內存，它按照預先規定的大小，將分配的內存分割成特定長度的內存塊，再把尺寸相同的內存塊分成組，數據在存放時，根據鍵值大小去匹配slab大小，找就近的slab存放，所以存在空間浪費現象。
傳統的內存管理方式是，使用完通過malloc分配的內存后通過free來回收內存，這種方式容易產生內存碎片并降低操作系統對內存的管理效率。

Memcached的緩存策略：
Memcached的緩存策略是LRU（最近最少使用）加上到期失效策略。當你在memcached內存儲數據項時，你有可能會指定它在緩存的失效時間，默認為永久。當memcached服務器用完分配的內時，失效的數據被首先替換，然后也是最近未使用的數據。在LRU中，memcached使用的是一種Lazy Expiration策略，自己不會監控存入的key/vlue對是否過期，而是在獲取key值時查看記錄的時間戳，檢查key/value對空間是否過期，這樣可減輕服務器的負載。

Memcached的分布式算法：
當向memcached集群存入/取出key/value時，memcached客戶端程序根據一定的算法計算存入哪臺服務器，然后再把key/value值存到此服務器中。也就是說，存取數據分二步走，第一步，選擇服務器，第二步存取數據。

分布式算法(Consistent Hashing)：

    選擇服務器算法有兩種，一種是根據余數來計算分布，另一種是根據散列算法來計算分布。
余數算法：
    先求得鍵的整數散列值，再除以服務器臺數，根據余數確定存取服務器，這種方法計算簡單，高效，但在memcached服務器增加或減少時，幾乎所有的緩存都會失效。
散列算法：
    先算出memcached服務器的散列值，并將其分布到0到2的32次方的圓上，然后用同樣的方法算出存儲數據的鍵的散列值并映射至圓上，最后從數據映射到的位置開始順時針查找，將數據保存到查找到的第一個服務器上，如果超過2的32次方，依然找不到服務器，就將數據保存到第一臺memcached服務器上。如果添加了一臺memcached服務器，只在圓上增加服務器的逆時針方向的第一臺服務器上的鍵會受到影響。