[[429536]]

本文转载自微信公众号「高性能架构探索」，作家雨乐 。转载本文请干系高性能架构探索公众号。

寰宇好，我是雨乐。

开赴点告诉寰宇一件事，在十一国庆时代，引擎的机器又又。。。又扛不住了流量。

经过监控分析，发现某个工作的一个实例场所的诬捏机扛不住了，是以选用临时要领流量适度之后，问题惩办了，但如故变成了不小的弃世。

经过这次故障，以及分析故障的经过中对负载平衡又有了新的愈加深化的意识，是以将这部分写出来，算是作念个故障回来吧图片。

写本文的办法：

阅读这篇著述需要的要求：

得益：

主要内容：

开赴点 撇开对线上的影响，如果线上突发来了流量,后端工作扛不住，咱们会怎样作念呢?无非两种方式：

上头两种方式，咱们称之为纵向扩展和横向扩展。

纵向扩展，是从单机的角度通过加多硬件处理才能，比如CPU处理才能，内存容量，磁盘等方面，竣事工作器处理才能的培植，不成餍足大型分散式系统(网站)，大流量，高并发，海量数据的问题。

横向扩展，通过添加机器来餍足大型网站工作的处理才能。比如：一台机器不成餍足，则加多两台或者多台机器，共同承担拜谒压力。

负载平衡，英文称号为Load Balance，其含义就是指将负载(职责任务或者网罗苦求)进行平衡，摊派到多个操作单元(工作器或者组件)上进走时行。办法是尽量将网罗流量 平均 发送到多个工作器上，以保证所有这个词业务系统的高可用。

负载平衡

在互联网的早期，网罗还不是很发达，流量相对较小，业务也比较浅薄，单台工作器或者实例就有可能餍足拜谒需要。但如今在互联网发达的今天，流量苦求动辄百亿、以至上千亿，单台工作器或者实例已全都不成餍足需求，这就有了集群。非论是为了竣事高可用如故高性能，都需要用到多台机器来扩展工作才能，用户的苦求不管引诱到哪台工作器，都能得到调换的相应处理。

另一方面，怎样构建和调治工作集群这事情，又必须对用户一侧保持敷裕的透明，即使苦求背后是由一千台、一万台机器来共同响应的，也绝非用户所存眷的事情，用户需记着的只须一个域名地址良友。调治后方的多台机器，以合伙的接口对外提供工作，承担此职责的技能组件被称为 负载平衡。

负载平衡主要有以下作用：

安全小心。有些负载平衡器提供了安全小心功能。如：短长名单处理、防火墙等。

从相沿负载平衡的载体来看，不错将负载平衡分为两类：

硬件负载平衡

软件负载平衡

硬件负载平衡器是一种硬件开采，具有特地的操作系统。硬件负载平衡器位于传入流量和里面工作器之间，内容上充任“流量窥探”。当用户拜谒网站或者使用app某个功能时，它们开赴点被发送到负载平衡器，然后负载平衡器阐明一定的战略，将流量转发到后端不同的工作器。为确保最好性能，硬件负载平衡器阐明自界说规矩分派流量，以免后端实例不胜重任。

传统上，硬件负载平衡器和应用工作器部署在土产货数据中心，负载平衡器的数目取决于预期的峰值流量。负载平衡器频繁成对部署，以防其中一个失败。

咫尺业界率先的两款硬件负载平衡器：F5和A10

硬件负载平衡

优点：

功能高大：相沿全局负载平衡并提供较全面的、复杂的负载平衡算法。

性能强悍：硬件负载平衡由于是在专用处理器上运行，因此微辞量大，可相沿单机百万以上的并发。

安全性高：频频具备防火墙，防 DDos 迤逦等安全功能。

舛误

资本崇高：购买和珍摄硬件负载平衡的资本都很高(：F5价钱在15w~55w不等，A10价钱在55w-100w不等)。

扩展性差：当拜谒量突增时，突出罢休不成动态扩容。

软件负载平衡指的是在工作器的操作系统上安设负载平衡软件，从此工作器发出的苦求经软件负载平衡算法路由到后端集群的某一台机器上。

常见负载平衡软件有：LVS、Nginx、Haproxy。

软件负载平衡

优点

扩展性好：恰当动态变化，不错通过添加软件负载平衡实例，动态扩展到超出启动容量的才能。

资本便宜：软件负载平衡不错在职何表率物理开采上运行，镌汰了购买和运维的资本。

舛误

性能略差：比拟于硬件负载平衡，软件负载平衡的性能要略低一些。

软硬件负载平衡器的区别

负载平衡从其应用的地舆结构上分为土产货负载平衡(Local Load Balance)和全局负载平衡(Global Load Balance，也叫地域负载平衡)。

地域负载平衡

土产货负载平衡是指对土产货的工作器群作念负载平衡。

土产货负载平衡针对土产货界限的工作器群作念负载平衡，土产货负载平衡不需要破耗高额资本购置高性能工作器，只需利用现存开采资源,就可灵验幸免工作器单点故障变成数据流量的弃世，频繁用来惩办数据流量过大、网罗负荷过重的问题。同期它领有形状各样的平衡战略把数据流量合理平衡的分派到各台工作器。如果需要在咫尺工作器上涨级扩展，不需转换现存网罗结构、住手现存工作，仅需要在工作群中浅薄地添加一台新工作器。

土产货负载平衡能灵验地惩办数据流量过大、网罗负荷过重的问题，况且不需破耗崇高开支购置性能非凡的工作器，充分利用现存开采，幸免工作器单点故障变成数据流量的弃世。

其有机动各样的平衡战略把数据流量合理地分派给工作器群内的工作器共同包袱。即使是再给现存工作器扩展升级，也只是浅薄地加多一个新的工作器到工作群中，而不需转换现存网罗结构、住手现存的工作。

全局负载平衡是指对分手搁置在不同的地舆位置、有不同网罗结构的工作器群间作负载平衡。

全局负载平衡主要用于在一个多区域领有我方工作器的站点，为了使全球用户只以一个IP地址或域名就能拜谒到离我方最近的工作器，从而获取最快的拜谒速率，也可用于子公司分散站点分散广的大公司通过Intranet(企业里面互联网)来达到资源合伙合理分派的办法。

全局负载平衡，咫尺竣事方式有以下几种：

CDN的全称是Content Delivery Network，即内容分发网罗。其就是接纳的全局负载平衡。假如咱们将图片存储在CDN上，且该CDN场所厂家在北京、杭州均有工作器。那么：

OSI是一个洞开性的通讯系统互连参考模子，如上图所示。在OSI参考模子中，分手有：

从上图不错看出：

TELNET、HTTP、FTP、NFS、SMTP、DNS等属于第七层应用层的观念。

TCP、UDP、SPX等属于第四层传输层的观念。

IP、IPX等属于第三层网罗层的观念。

ATM、FDDI等属于第二层数据链路层的观念。

阐明负载平衡技能竣事在OSI七层模子的不同档次，咱们给负载平衡分类：

其中最常用的是四层和七层负载平衡。

底下咱们将从OSI模子从下往上的端正，来详备解释上述几种负载平衡。

职责在数据链路层的负载平衡称之为二层负载平衡(又称为数据链路层负载平衡)，通过在通讯契约的数据链路层修改mac地址进行负载平衡。

二层负载平衡是基于数据链路层的负载平衡，即让负载平衡工作器和业务工作器绑定吞并个诬捏IP(即VIP)，客户端奏凯通过这个VIP进行苦求集群。集群中不同的机器接纳调换IP地址，然则机器的MAC地址不一样。当负载平衡工作器接受到苦求之后，通过改写报文的狡计MAC地址的方式将苦求转发到狡计机器竣事负载平衡。

当前，世界正在经历大调整、大分化、大重组。一方面，新兴市场国家和发展中国家群体性崛起，成为推动国际秩序演变的重要力量。2022年，新兴市场国家和发展中国家GDP总量，按现价美元计算，占全球GDP比重约为42.55%，按购买力平价计算，则占比为58.26%，是全球经济增长的主要推动力。新兴市场国家和发展中国家积极主张世界多极化和国际关系民主化，要求增加其在全球治理体系中的话语权，代表了全球治理改革和国际秩序演变的潮流方向。另一方面，世界形势正在发生深刻复杂的变化，经济全球化曲折深入发展，大国战略竞争等地缘政治风险不断加剧，南北失衡、粮食安全、能源安全、气候变化等问题愈发严峻，“脱钩断链”“小院高墙”“退群毁约”等政策行为，进一步破坏现行国际秩序。已有全球治理体系在应对和解决全球性挑战方面的不足愈发凸显，国际社会对变革全球治理体系的呼声空前强烈。

数据链路层负载平衡所作念的职责，是修改苦求的数据帧中的 MAC 狡计地址，让用户蓝本是发送给负载平衡器的苦求的数据帧，被二层交换机阐明新的 MAC 狡计地址转发到工作器集群中对应的工作器(真实工作器)的网卡上，这么真实工作器就获取了一个蓝本狡计并不是发送给它的数据帧。

为了便于都集，咱们假定负载平衡器场所的ip地址为192.168.1.1，后端服求实例的mac地址分手为52:54:00:A1:CB:F7，61:52:00:A2:BD, 71:63:52:A3:CA。如下图所示：

二层负载平衡

在上图中，用户的苦求开赴点到达ip为192.168.1.1的二层负载平衡器，然后二层负载平衡器通过选用一定的战略，选中了mac地址为71:63:52:A3:CA，然后将流量转发至该服求实例。

需要注视的是,上述只须苦求经过负载平衡器，而工作的响应无谓从负载平衡器原路复返的职责模式，所有这个词苦求、转发、响应的链路形成一个“三角关系”，是以这种负载平衡模式也常被很形象地称为“三角传输模式”，也有叫“单臂模式”或者“奏凯路由”。

二层负载平衡器奏凯改写狡计 MAC 地址的职责旨趣决定了它与真实的工作器的通讯必须是二层可达的，当年地说就是必须位于吞并个子网当中，无法跨 VLAN。上风(效用高)和残障(不成跨子网)共同决定了数据链路层负载平衡最恰当用来作念数据中心的第一级平衡开采，用来引诱其他的下级负载平衡器。

三层负载平衡是基于网罗层的负载平衡，因此又叫网罗层负载平衡。当年的说就是按照不同机器不同IP地址进行转发苦求到不同的机器上。

阐明 OSI 七层模子，在第三层网罗层传输的单元是分组数据包，这是一种在分组交换网罗中传输的结构化数据单元。以IP契约为例，欧博体育注册一个IP 数据包由 Headers 和 Payload 两部分构成， Headers 长度最大为60Bytes，其中包括了20Bytes的固定数据和最长不突出40Bytes 的可选的额外成立构成。

三层负载平衡工作器对外还是提供一个VIP(虚IP)，然则集群中不同的机器接纳不同的IP地址。当负载平衡工作器接受到苦求之后，阐明不同的负载平衡算法，通过IP将苦求转发至不同的真实工作器。

学过考虑机网罗的都知说念，在IP分组的数据报header中有 源IP 和 狡计IP。源IP和狡计IP代表分组交换中数据是从哪台机器到哪台机器的，那么，咱们不错接纳跟修改二层负载平衡中MAC地址的方式一样，奏凯修改狡计IP，以达到数据转发的办法。

修改狡计IP的方式有两种：1、原有的数据包保持不变，生成一个新的数据包，原数据包的Header和Payload看成新数据包的Payload，在这个新数据包的 Headers 中写入真实工作器的 IP 看成狡计地址，然后把它发送出去。

真实工作器收到数据包后，必须在招揽进口处联想一个针对性的拆包机制，把由负载平衡器自动添加的那层 Headers 扔掉，归附出原来的数据包来进哄骗用。这么，真实工作器就相同拿到了一个蓝本不是发给它(狡计 IP 不是它)的数据包，达到了流量转发的办法。这种数据传输方式叫作念 IP纯正 传输。

尽管因为要封装新的数据包，IP 纯正的转发模式比起奏凯路由模式效用会有所着落，但由于并莫得修改原罕有据包中的任何信息，是以 IP 纯正的转发模式仍然具备三角传输的特点，即负载平衡器转发来的苦求，不错由真实工作器去奏凯应对，无谓在经过平衡器原路复返。而且由于 IP 纯正职责在网罗层，是以不错进步 VLAN，因此开脱了奏凯路由模式中网罗侧的经管。

此模式从苦求到响应如下图所示：

IP纯正模式负载平衡

优点：

基于以上原因，就有了第二种修改方式。2、转换狡计数据包。

奏凯把数据包 Headers 中的狡计地址改为真实工作器地址，修改后蓝本由用户发给平衡器的数据包，也会被三层交换机转发送到真实工作器的网卡上，而且因为莫得经过 IP 纯正的额外包装，也就无谓再拆包了。

因为这种模式是通过修改狡计 IP 地址才到达真实工作器的，如果然实工作器奏凯将应对包复返客户端的话，这个应对数据包的源 IP 是真实工作器的 IP，也即平衡器修改以后的 IP 地址，客户端不可能意识该 IP，当然就无法再正常处理这个应对了。因此，只可让应对流量延续回到负载平衡，由负载平衡把应对包的源 IP 改回我方的 IP，再发给客户端，这么才能保证客户端与真实工作器之间的正常通讯。

这种修改狡计IP的方式叫NAT模式，这种通过修改狡计IP的方式达到负载平衡办法的方式叫作念NAT负载平衡。如下图所示：

NAT模式负载平衡

所谓四层负载平衡，也就是主要通过报文中的狡计地址和端口，再加上负载平衡开采成立的工作器选用方式，决定最终选用的里面工作器。

由于四层负载平衡是作用在传输层，因此，咱们就以常见的TCP进行例如。

负载平衡开采在招揽到第一个来自客户端的SYN 苦求时，即通过上述方式选用一个最好的工作器，并对报文入网划IP地址进行修改(改为后端工作器IP)，奏凯转发给该工作器。TCP的引诱开发，即三次合手手是客户端和工作器奏凯开发的，负载平衡开采只是起到一个肖似路由器的转发动作。在某些部署情况下，为保证工作器回包不错正确复返给负载平衡开采，在转发报文的同期可能还会对报文原来的源地址进行修改。

四层负载平衡

四层负载平衡主若是基于tcp契约报文，不错作念任何基于tcp/ip契约的软件的负载平衡，比如Haproxy、LVS等。

所谓七层负载平衡，也称为“内容交换”，也就是主要通过报文中的委果有预料的应用层内容，再加上负载平衡开采成立的工作器选用方式，决定最终选用的里面工作器。

应用层契约较多，常用http、radius、dns等。七层负载就不错基于这些契约来负载。

咱们仍然以TCP为例。负载平衡开采如果要阐明委果的应用层内容再选用工作器，只可先代理最终的工作器和客户端开发引诱(三次合手手)后，才可能接受到客户端发送的委果应用层内容的报文，然后再阐明该报文中的特定字段，再加上负载平衡开采成立的工作器选用方式，决定最终选用的里面工作器。负载平衡开采在这种情况下，更肖似于一个代理工作器。负载平衡和前端的客户端以及后端的工作器会分手开发TCP引诱。是以从这个技能旨趣上来看，七层负载平衡昭着的对负载平衡开采的要求更高，处理七层的才能也势必会低于四层模式的部署方式。

七层负载平衡器会与客户端 以及 后端的服求实例分手开发引诱。

七层负载平衡

七层负载平衡基本都是基于http契约的，适用于web工作器的负载平衡，比如Nginx等。

常用的负载平衡算法分为以下两类：

常见的静态平衡算法：轮询法、随即法、源地址哈希法、一致性哈希法、加权轮询法、加权随即法。

常见的动态负载平衡算法：最小引诱数法、最快响应速率法。

将苦求随即分派到各个节点。由概率统计表面得知，跟着客户端调用工作端的次数增多，其本质成果越来越接近于平中分派，也就是轮询的末端。

随即战略会导致建树较低的机器Down机，从而可能引起雪崩，一般接纳随即算法时提倡后端集群机器建树最好同等的，随即战略的性能取决于随即算法的性能。

随即法

竣事：

std::string 澳门六合彩在线Select(const std::vector<int> &ips) {   size_t size = ips.size();   if (size == 0) {     return "";   }      return ips[random() % size]; } 

每一次来自网罗的苦求轮换分派给里面中的工作器，从1至N然后再行来源。此种平衡算法恰当于工作器组中的所有工作器都有调换的软硬件建树况且平均工作苦求相对平衡的情况。

假定10台机器，从0-9，苦求驾临时从0号机器来源，后续每来一次苦求对编号加1，这么一直轮回，上头的随即战略其实临了就变成轮询了，这两种战略都不存眷机器的负载和运行情况，而且对变量操作会引入锁操作，性能也会下会着落。

轮询法

代码竣事：

static int idx = 0; std::string Select(const std::vector<int> &ips) {   size_t size = ips.size();   if (size == 0) {     return "";   }      if (idx == ips.size()) {     idx = 0;   }      return ips[idx++]; } 

不同的后端工作器可能机器的建树和刻下系统的负载并不调换，因此它们的抗压才能也不调换。给建树高、负载低的机器建树更高的权重，让其处理更多的苦求;而建树低、负载高的机器，给其分派较低的权重，镌汰其系统负载，加权轮询能很好地处理这一问题，并将苦求端正且按照权重分派到后端。

假定后端有3台工作器，分手为a b c，咫尺在负载平衡器中建树a工作器的权重为7，b工作的权重为2，c工作的权重为1。当来了10次苦求的时候，其中有7次苦求a，2次苦求b，1次苦求c。即最斥逐尾是

aaaaaaabbc 

优点：不错将不同机器的性能问题纳入到考量界限，集群性能最优最大化;

舛误：坐蓐环境复杂多变，工作器抗压才能也无法精准估算，静态算法导致无法及时动态疗养节点权重，只可粗莽优化。

皇冠hg86a

加权轮询

与加权轮询法一样，加权随即法也阐明工作器的建树，系统的负载分派不同的权重。不同的是，它是按照权重随即苦求后端工作器，而非端正。

在之前的著述权重随即分派器咱们有详备讲过各样竣事决策，此处咱们不再赘述，从里面摘记了一种竣事决策看成本决策的竣事。

加权随即

代码竣事

srtuct Item {   std::string ip;   int weight; }; std::string select(const std::vector<Item> &items) {   int sum = 0;   for (auto elem : items) {     sum += elem.weight;   }      int rd = rand() % sum;   int s = 0;   std::string res;   for (auto elem : items) {     s += elem.weight;     if (s >= rd) {       res = elem.ip;       break;     }   }   return res; } 

阐明苦求的响适时代，来动态疗养每个节点的权重，将响应速率快的工作节点分派更多的苦求，响应速率慢的工作节点分派更少的苦求

负载平衡开采对里面各工作器发出一个探伤苦求(例如Ping)，然后阐明里面中各工作器对探伤苦求的最快响适时代来决定哪一台工作器来响应客户端的工作苦求。此种平衡算法能较好的反应工作器确刻下运业绩态，但这最快响适时代只是指的是负载平衡开采与工作器间的最快响适时代，而不是客户端与工作器间的最快响适时代。

最快响应速率

客户端的每一次苦求工作在工作器停留的时代可能会有较大的互异，跟着职责时代加长，如果接纳浅薄的轮循或随即平衡算法，每一台工作器上的引诱程度可能会产生极大的不同，并莫得达到委果的负载平衡。最少引诱数平衡算法对里面中需负载的每一台工作器都有一个数据纪录，纪录刻下该工作器正在处理的引诱数目，当有新的工作引诱苦求时，将把刻下苦求分派给引诱数最少的工作器，使平衡愈加恰当本质情况，负载愈加平衡。此种平衡算法恰当永劫处理的苦求工作，如FTP。

最少引诱数

阐明苦求源 IP，通过哈希考虑得到一个数值，用该数值在候选工作器列表的进行取模运算，得到的末端即是选中的工作器。

大致让吞并客户端的苦求或者吞并用户的苦求老是苦求在后端吞并台机器上，这种算法阐明客户端IP求出Hash值然后对端集群总额求余得到值就是工作器相聚的下标，一般这种算法用于缓存射中，或者吞并会话苦求等，但这种算法也有一定的舛误，某一用户拜谒量(黑产)相等高时可能变成工作端压力过大或者后端工作Down掉，那么客户端就会无法拜谒，是以也需要一定的左迁战略。

源地址哈希

一些场景但愿相同的苦求尽量落到一台机器上，比如拜谒缓存集群时，咱们频频但愿吞并种苦求能落到吞并个后端上，以充分利用其上已有的缓存，不同的机器承载不同的褂讪苦求量(也不错都集为固定批用户的苦求)。而不是随即地洒落到所有机器上，那样的话会迫使所有机器缓存所有的内容，最终由于存不下形成震憾而推崇晦气。咱们都知说念hash能餍足这个要求，比如当有n台工作器时，输入x老是会发送到第hash(x) % n台工作器上。但当工作器变为m台时，hash(x) % n和hash(x) % m很可能都不特别，这会使得简直所有苦求的发送办法地都发生变化，如果办法地是缓存工作，所有缓存将失效，继而对蓝本被缓存遮拦的数据库或考虑工作变成苦求风暴，触发雪崩。一致性哈希是一种特殊的哈希算法，在加多工作器时，发向每个老节点的苦求中只会有一部分转向新节点，从而竣事平滑的迁徙。

一致性哈希

优点：

舛误：

负载平衡并不是委果确保网罗流量大致"均匀"的分派到后端服求实例。它只是抱着留不测情况发生时候，也能保证用户体验。淡雅的架构联想和弹性扩容，大致使得负载平衡的功能 渔人之利。