深入理解Linux負載均衡LVS
負載均衡集群是Load Balance 集群的縮寫，翻譯成中文就是負載均衡集群。常用的負載均衡開源軟件有Nginx、LVS、Haproxy，商業的硬件負載均衡設備有F5、Netscale等。
二、負載均衡LVS基本介紹LB集群的架構和原理很簡單，就是當用戶的請求過來時，會直接分發到Director Server上，然后它把用戶的請求根據設置好的調度算法，智能均衡的分發后端真正服務器（real server）上。為了避免不同機器上用戶請求的數據不一樣，需要用到了共享存儲，這樣保證所有用戶請求的數據是一樣的。
這是由章文嵩博士發起的一個開源項目，官網：http://www.linuxvirtualserver.org現在LVS已經是 Linux 內核標準的一部分。使用 LVS 可以達到的技術目標是：通過 LVS 達到的負載均衡技術和 Linux 操作系統實現一個高性能高可用的 Linux 服務集群，它具有良好的可靠性、可擴展性和可操作性。從而以廉價的成本實現最優的性能。
LVS集群采用IP負載均衡技術和基于內容請求分發技術。調度器具有很好的吞吐率，將請求均衡地轉移到不同的服務器上執行，且調度器自動屏蔽掉服 務器的故障，從而將一組服務器構成一個高性能的、高可用的虛擬服務器。整個服務器集群的結構對客戶是透明的，而且無需修改客戶端和服務器端的程序。
三、LVS的體系架構負載均衡的原理很簡單，就是當客戶端發起請求時，請求直接發給Director Server（調度器），這時會根據設定的調度算法，將請求按照算法的規定智能的分發到真正的后臺服務器。以達到將壓力均攤。但是我們知道，http的連接時無狀態的，假設這樣一個場景，我登錄某寶買東西，當我看上某款商品時，我將它加入購物車，但是我刷新了一下頁面，這時由于負載均衡的原因，調度器又選了新的一臺服務器為我提供服務，我剛才的購物車內容全都不見了，這樣就會有十分差的用戶體驗。所以就還需要一個存儲共享，這樣就保證了用戶請求的數據是一樣的。所以LVS負載均衡分為三層架構(也就是LVS負載均衡主要組成部分)：
如圖：
LVS的各個層次的詳細介紹：
3.1、Load Balancer層位于整個集群系統的最前端，有一臺或者多臺負載調度器（Director Server）組成，LVS模塊就是安裝在Director Server上，而Director的主要作用類似于一個路由器，它含有完成LVS功能所設定的路由表，通過這些路由表把用戶的請求分發給Server Array層的應用服務器（Real Server）上。同時，在Director Server上還要安裝隊Real Server服務的監控模塊Ldirectord，此模塊用于檢測各個Real Server服務的健康狀況。在Real Server不可用時把它從 LVS 路由表中剔除，恢復時重新加入。
3.2、Server Arrary層由一組實際運行應用服務的機器組成，Real Server可以是WEB 服務器、MALL服務器、FTP服務器、DNS服務器、等等，每個Real Server 之間通過高速的LAN或分布在各地的WAN相連接，在實際的應用中，Director Server也可以同時兼任Real Server的角色。
3.3、Shared Storage層是為所有Real Server提供共享存儲空間和內容一致性的存儲區域，在物理上，一般有磁盤陣列設備組成，為了提供內容的一致性，一般可以通過NFS網絡文件系統共享數據，但是NFS在繁忙的業務系統中，性能并不是很好，此時可以采用集群文件系統，列如Red hat的GFS文件系統等等。一個公司得有一個后臺賬目吧，這才能協調。不然客戶把錢付給了A，而換B接待客戶，因為沒有相同的賬目。B說客戶沒付錢，那這樣就不是客戶體驗度的問題了。
四、LVS的實現原理
（1）當用戶負載均衡調度器（Director Server）發起請求，調度器將請求發往至內核空間
（2）PREROUTING 鏈首先會接受到用戶請求，判斷目標IP確實是本地IP，將數據包發往 INPUT 鏈
（3）IPVS 是工作在 INPUT 鏈上的，當用戶請求到達INPUT時，IPVS 會將用戶請求和自己定義好的集群服務進行比對，如果用戶請求的就是集群服務，那么此時 IPVS 會強行修改數據包里的目標IP地址和端口，并將新的數據包發往 POSTROUTING 鏈
（4）POSTROUTING 鏈將收到數據包后發現目標IP地址剛好是自己的后端服務器，那么此時通過選路，將數據包最終發送給后端的服務器
五、LVS的工作原理LVS 的工作模式分為4中分別是 NAT，DR，TUN，FULL-NAT。其中做個比較，由于工作原理的關系的，NAT的配置最為簡單，但是NAT對調度器的壓力太大了，導致其效率最低，DR和TUN的工作原理差不多，但是DR中，所有主機必須處于同一個物理環境中，而在TUN中，所有主機可以分布在不同的位置，服務器一個在紐約，一個在深圳。最多應用的是FULL-NAT。
（1）DS：Director Server指的是前端負載均衡器節點。
（2）RS：Real Server后端真實的工作服務器。
（3）VIP：向外部直接面向用戶請求，作為用戶請求的目標的ip地址。
（4）DIP：Director Server IP主要用于和內部服務器通訊的ip地址。
（5）RIP：Real Server IP后端服務器的ip地址。
（6）CIP：Client IP訪問客戶端的IP地址。
七、NAT 模式-網絡地址轉換這個是通過網絡地址轉換的方法來實現調度的。首先調度器(LB)接收到客戶的請求數據包時（請求的目的IP為VIP），根據調度算法決定將請求發送給哪個后端的真實服務器（RS）。然后調度就把客戶端發送的請求數據包的目標IP地址及端口改成后端真實服務器的IP地址（RIP）,這樣真實服務器（RS）就能夠接收到客戶的請求數據包了。真實服務器響應完請求后，查看默認路由（NAT模式下我們需要把RS的默認路由設置為LB服務器。）把響應后的數據包發送給LB,LB再接收到響應包后，把包的源地址改成虛擬地址（VIP）然后發送回給客戶端。
VS/NAT是一種最簡單的方式，所有的RealServer只需要將自己的網關指向Director即可。客戶端可以是任意操作系統，但此方式下，一個Director能夠帶動的RealServer比較有限。在VS/NAT的方式下，Director也可以兼為一臺RealServer。VS/NAT的體系結構如圖所示。
（1）當用戶請求到達Director Server，此時的請求數據報文會先到內核空間的PREROUTING鏈。此時報文的源IP為 CIP，目標IP為 VIP。
（2）PREROUTING檢查發現數據包的目標IP 是本機，將數據包發送至INPUT鏈。
（3）IPVS比對數據包請求的服務是否為集群服務，若是，修改數據包的目標IP地址為后端服務器IP，然后將數據包發送至POSTROUTING鏈。此時報文的源IP為 CIP，目標IP為RIP。
（4）POSTROUTING鏈通過選路，將數據包發送給Real Server。
（5）Real Server對比發現目標為自己的IP，開始構建響應報文發回給Director Server。此時報文的源IP為 RIP，目標IP為 CIP。
（6）Director Server在響應客戶端前，此時會將源IP地址修改為自己的VIP地址，然后響應給客戶端。此時報文的源IP為 VIP，目標IP為CIP。
九、DR 模式-直接路由模式DR模式也就是用直接路由技術實現虛擬服務器。它的連接調度和管理與VS/NAT和VS/TUN中的一樣，但它的報文轉發方法又有不同，VS/DR通過改寫請求報文的MAC地址，將請求發送到Real Server，而Real Server將響應直接返回給客戶，免去了VS/TUN中的IP隧道開銷。這種方式是三種負載調度機制中性能最高最好的，但是必須要求Director Server與Real Server都有一塊網卡連在同一物理網段上。
Director和RealServer必需在物理上有一個網卡通過不間斷的局域網相連。 RealServer上綁定的VIP配置在各自Non-ARP的網絡設備上(如lo或tunl),Director的VIP地址對外可見，而RealServer的VIP對外是不可見的。RealServer的地址即可以是內部地址，也可以是真實地址。
DR模式是通過改寫請求報文的目標MAC地址，將請求發給真實服務器的，而真實服務器響應后的處理結果直接返回給客戶端用戶。同TUN模式一樣，DR模式可以極大的提高集群系統的伸縮性。而且DR模式沒有IP隧道的開銷，對集群中的真實服務器也沒有必要必須支持IP隧道協議的要求。但是要求調度器LB與真實服務器RS都有一塊網卡連接到同一物理網段上，必須在同一個局域網環境。
9.1、DR 模式工作原理圖
（1）首先用戶用CIP請求VIP。
（2）根據上圖可以看到，不管是Director Server 還是Real Server 上都需要配置相同的VIP，那么當用戶請求到達我們的集群網絡的前端路由器的時候，請求數據包的源地址為CIP，目標地址為VIP；此時路由器還會發廣播問誰是VIP，那么我們集群中所有的節點都配置有VIP，此時誰先響應路由器那么路由器就會將用戶請求發給誰，這樣一來我們的集群系統是不是沒有意義了，那我們可以在網關路由器上配置靜態路由指定VIP就是Director Server，或者使用一種機制不讓Real Server 接受來自網絡中的ARP 地址解析請求，這樣一來用戶的請求包都會經過Director Server。
（3）當用戶請求到達Director Server，此時請求的數據報文會先到內核空間的PREROUTING鏈，此時報文的源IP為CIP，目標IP為VIP。
（4）PREROUTING檢查發現數據包的目標IP為本機，將數據包發送至INPUT鏈。
（5）IPVS對比數據包請求的服務是否為集群服務，若是，將請求報文中的源MAC地址修改DIP的MAC地址，將目標MAC地址修改為RIP的MAC地址，然后將數據包發至POSTROUTING鏈，此時的源IP和目標IP均未修改，僅修改了源MAC地址為DIP的MAC地址，目標MAC地址為RIP的MAC地址。
（6）由于DS和RS在同一個網絡中，所以是通過二層來傳輸，POSTROUTING鏈檢查目標MAC地址為RIP的MAC地址，那么此時數據包將會發至Real Server。
（7）RS發現請求報文的MAC地址是自己的MAC地址，就接收報文。處理完成之后，將相應報文通過lo接口傳送給eth0網卡然后向外發出。此時的源IP地址為VIP，目標IP為CIP。
（8）響應報文最終送達至客戶端。
配置DR的三種方式：
第一種：在路由器上明顯說明vip對應的地址一定是Director上的MAC，只要綁定，以后再跟vip通信也不用再請求了，這個綁定是靜態的，所以它也不會失效，也不會再次發起請求，但是有個前提，我們的路由設備必須有操作權限才能夠綁定MAC地址，萬一這個路由器是運營商操作的，我們沒法操作怎么辦？第一種方式固然很簡單，但未必可行。 第二種：在個別主機上（列如：紅帽）它們引進的有一種程序arptables，它有點類似iptables，它肯定是基于arp或者MAC做訪問控制的，很顯然我們只需要在每一個Real Server上定義arptables規則，如果用戶arp廣播請求的目標地址是本機的vip則不予響應，或者說響應的報文不讓出去，很顯然（gateway）是接收不到的，也就是director響應的報文才能到達gateway，這個也行。第二種方式我們可以基于arptables。 第三種：在相對較新的版本中新增了兩個內核參數（kernelparameter），第一個是arp_ignore定義接受到ARP請求時的響應級別；第二個是arp_announce定義將自己地址向外通告時的通告級別。[提示：很顯然我們現在的系統一般在內核中都是支持這些參數的，我們用參數的方式進行調整更具有樸實性，它還不依賴額外的條件，像arptables，也不依賴外在路由配置的設置，反而通常我們使用的是第三種配置方式arp_ignore:定義接收到ARP請求時的響應級別
0：只要本地設置的有相應的地址，就給予響應。（默認）
1：僅回應目標IP地址是本地的入網地址的arp請求。
2：僅回應目標IP地址是本地的入網地址，而且源IP和目標IP在同一個子網的arp請求。
3：不回應網絡界面的arp請求，而只對設置的唯一和連接地址做出回應。
4-7：保留未使用。
8：不回應所有的arp請求。
arp_announce：定義將自己地址向外通告的通告級別：
0：將本地任何接口上的任何地址向外通告。
1：視圖僅向目標網絡通告與其網絡匹配的地址。
2：僅向與本地接口上地址匹配的網絡進行通告。
9.2、DR模式的特性 保證前端路由將目標地址為VIP報文統統發給Director Server，而不是RS。 Director和RS的VIP為同一個VIP。 RS可以使用私有地址，也可以是公網地址，如果使用公網地址，此時可以通過互聯網對RIP進行直接訪問。 RS跟Director Server必須在同一個物理網絡中。 所有的請求報文經由Director Server，但響應報文必須不能經過Director Server。 不支持地址轉換，也不支持端口轉換。 RS 可以是大多數常見的操作系統。 RS 的網關絕不允許指向DIP（因為我們不允許它經過Director） RS上的lo接口配置VIP的ip地址 DR模式是市面上用得最廣的。 缺陷：RS和DS必須在同一機房。十、Tunnel 模式10.1、Tunnel 模式工作原理
（1）當用戶請求到達Director Server，此時請求的數據報文會先拿到內核空間的PREROUTING鏈，此時報文的源IP為CIP，目標IP為VIP。
（2）PREROUTING檢查發現數據包的目標IP是本機，將數據包發送至INPUT鏈。
（3）IPVS對比數據包請求的服務是否為集群服務，若是，在請求報文的首部再次封裝一層IP報文，封裝源IP為DIP，目標IP為RIP。然后發至POSTROUTING鏈，此時源IP為DIP，目標IP為RIP。
（4）POSTROUTING鏈根據最新封裝的IP報文，將數據包發送至RS（因為在外層多封裝了一層IP首部，所以可以理解為 此時通過隧道傳輸）。此時源IP為DIP，目標IP為RIP。
（5）RS接收到報文后發現是自己的IP地址，就將報文接收下來，拆除掉最外層的IP后，會發現里面還有一層IP首部，而且目標是自己的lo接口VIP，那么此時RS開始處理請求，處理完成之后，通過lo接口發送給eth0網卡，然后向外傳遞。此時源IP為VIP，目標IP為CIP。
（6）響應報文最終送達至客戶端。
10.2、Tunnel模式的特性 RIP、VIP、DIP全是公網地址。 RS的網關不會也不可能指向DIP。 所有的請求報文經由Director Server，但響應報文必須不能經過Director Server。 不支持端口映射。 RS的系統必須支持隧道。十一、LVS 的調度算法固定調度算法：rr，wrr，dh，sh
動態調度算法：wlc，lc，lblc，lblcr
固定調度算法：即調度器不會去判斷后端服務器的繁忙與否，一如既往得將請求派發下去。
動態調度算法：調度器會去判斷后端服務器的繁忙程度，然后依據調度算法動態得派發請求。
11.1、rr：輪詢（round robin）這種算法是最簡單的，就是按依次循環的方式將請求調度到不同的服務器上，該算法最大的特點就是簡單。輪詢算法假設所有的服務器處理請求的能力都是一樣的，調度器會將所有的請求平均分配給每個真實服務器，不管后端 RS 配置和處理能力，非常均衡地分發下去。這個調度的缺點是，不管后端服務器的繁忙程度是怎樣的，調度器都會講請求依次發下去。如果A服務器上的請求很快請求完了，而B服務器的請求一直持續著，將會導致B服務器一直很忙，而A很閑，這樣便沒起到均衡的左右。
11.2、wrr：加權輪詢（weight round robin）這種算法比 rr 的算法多了一個權重的概念，可以給 RS 設置權重，權重越高，那么分發的請求數越多，權重的取值范圍 0 ? 100。主要是對rr算法的一種優化和補充， LVS 會考慮每臺服務器的性能，并給每臺服務器添加要給權值，如果服務器A的權值為1，服務器B的權值為2，則調度到服務器B的請求會是服務器A的2倍。權值越高的服務器，處理的請求越多。
11.3、dh：目標地址散列調度算法 （destination hash）簡單的說，即將同一類型的請求分配給同一個后端服務器，例如將以 .jgp、.jpg等結尾的請求轉發到同一個節點。這種算法其實不是為了真正意義的負載均衡，而是為了資源的分類管理。這種調度算法主要應用在使用了緩存節點的系統中，提高緩存的命中率。
11.4、sh：源地址散列調度算法（source hash）即將來自同一個ip的請求發給后端的同一個服務器，如果后端服務器工作正常沒有超負荷的話。這可以解決session共享的問題，但是這里有個問題，很多企業、社區、學校都是共用的一個IP，這將導致請求分配的不均衡。
11.5、lc：最少連接數（least-connection）這個算法會根據后端 RS 的連接數來決定把請求分發給誰，比如 RS1 連接數比 RS2 連接數少，那么請求就優先發給 RS1。這里問題是無法做到會話保持，即session共享。
11.6、wlc：加權最少連接數（weight least-connection）這個比最少連接數多了一個加權的概念，即在最少連接數的基礎上加一個權重值，當連接數相近，權重值越大，越優先被分派請求。
11.7、lblc：基于局部性的最少連接調度算法（locality-based least-connection）將來自同一目的地址的請求分配給同一臺RS如果這臺服務器尚未滿負荷，否則分配給連接數最小的RS，并以它為下一次分配的首先考慮。
以上就是深入理解Linux負載均衡LVS的詳細內容，更多關于Linux 負載均衡 LVS的資料請關注好吧啦網其它相關文章！
相關文章：
網公網安備