基于bbr拥塞控制的云盘提速实践

发布于 2019-09-26 作者 风铃 59次 浏览 版块 前端

女主宣言

云盘的速度是业界硬指标,是产品口碑和形象。传统的提速手段是大多基于代理服务器,用合适的代理连接用户与存储服务器。此方式有一定效果,但未结合国内网络情况和网络原理进行解决。bbr拥塞控制算法针对长肥网络有很好的疗效,非常适合广域网情况,实践后速度迅猛提升。本文来自奇虎360云盘事业部,让我们来了解下,360云盘是怎样通过bbr拥塞控制算法来实现提速的。

PS:丰富的一线技术、多元化的表现形式,尽在“HULK一线技术杂谈”,点关注哦!

引言

云盘作为数据存储产品,无论个人还是公司使用,其速度均是第一指标,也是用户评判云盘好坏的关键因素。速度上的提升会带来好的用户体验,以及用户粘连性。所以提速成为迫切需求。

传统tcp拥塞控制

1

广域网络环境

目前广域网普遍属于高带宽,高延迟,存在一定丢包率。网络丢包存在两种情况,第一为拥塞丢包,第二为错误丢包。错误丢包可能是网络传输过程中异常导致,大概有十万分之一的概率。


国内有很多二级运营商,它们大多为共享带宽,其网络buffer也是共享,网络共享buffer打满,会导致丢包,此类丢包造成滑动窗口折半,发送速率骤降。实则各用户带宽并未完全打满。


此类网络以下统称为长肥网络:即往返时间长,但带宽较大。


2

传统tcp拥塞控制算法

传统tcp拥塞控制目的是最大化打满网络带宽。一条链路就像水管,装满此水管需要估算管内容量。

管内容量 = 水管粗细(链路带宽) * 水管长度(往返延迟)

拥塞控制过程:慢启动、加性增、乘性减。开始指数增加发送窗口,遇到丢包快速折半发送窗口,降低发送速率。

3

tcp拥塞控制无法解决如下问题

无法定位丢包原因

无法区分丢包是拥塞导致还是错误导致,如果是网络传输错误导致丢包,其实还未打满带宽。在有一定丢包率的长肥网络中发送窗口会收敛到很小,导致发包速率很小。

缓冲区膨胀问题

网络缓冲区膨胀,网络中有一些buffer,用于吸收波动的流量。开始阶段以指数级速率快速发包,导致buffer快速打满,buffer满后会产生丢包。丢包造成发送窗口骤降,而后发送窗口和buffer都会逐渐下降收敛。此情况未能打满带宽以及buffer使用率。认为此类丢包是带宽打满,实则不然,只是开始过快的增长导致buffer打满丢包而已。

2.1 缓冲区膨胀现象

bbr拥塞控制

1

解决上述两类问题

1. 不考虑丢包情况,因为无法区分拥塞丢包,错误丢包。


2. 缓冲区膨胀现象是同时估计带宽和延迟导致的。因为发送窗口需要这两参数计算出管内容量,但同时计算会导致不准。例如:要测最大带宽需灌满水管,此时延迟必然高,因为缓冲区占满,包排队需时间。而要测最低延迟,需网络流量低,此时缓冲区基本为空,延迟低,但此时管内带宽估值也低。所以无法同时测量带宽和延迟的最好情况,即最大带宽和最低延迟。这就是本质,为什么传统tcp在长肥网络中很难打满带宽。

解决办法:分别估算带宽和延迟,以计算出最合适的管内容量。

2

bbr拥塞控制过程

慢启动

指数增长发包,不理会丢包,不折半窗口,只检查有效带宽是否还再增长,直到有效带宽不再增长为止。有效带宽是指还未开始占用buffer。

排空阶段

慢启动后,发包量依然有3倍管内容量,此时降低发包速率,以免管中多余包占满buffer,导致丢包。

带宽探测阶段

每8个往返为一个周期,第一个往返,bbr尝试以 5/4速率增大发包,以估算带宽是否打满,第二个周期以 3/4速率降低发包,以排空buffer中的冗余包,避免发生膨胀。剩下6个往返以新的带宽估算速率发包。如此为一个周期,不断探测直到打满真实带宽,如图3.1所示。

延迟探测阶段

每隔10秒,如果未发现新的最低延迟。此时发送窗口减到4个包,以此段时间发包的最低延迟作为估值。然后发送窗口回到之前的状态。

3.1 带宽检测持续增长,绿色为发包数量,蓝色为延迟

3.2 丢包率和有效带宽示意图。绿色为bbr,红色为传统tcp


3

bbr小结

bbr开始阶段不会迅猛打满管道,主要是避免缓冲区膨胀带来的丢包和延迟,后续交替探测带宽和延迟。探测带宽时,先增大发送速率后减小,也是避免缓冲区膨胀问题,丢包率降低不断收到有效ack,进而持续增大发送窗口,如此轮回得到最大带宽。探测延迟时,发送窗口降为4个包,此时缓冲区未占满,管内通畅,探测到的延迟也是低而准的。交替探测带宽和延迟得到准确的管内容量,排空方式能避免缓冲区膨胀带来的丢包和延迟。

4

bbr适合场景

1. 存在一定丢包率的高带宽,高延迟网络。

2. buffer较小的慢接入网络。

bbr在云盘中的实践

内核升级

代理服务器内核升级到4.9以上

开启bbr拥塞控制算法

echo "net.core.default_qdisc=fq" >> /etc/sysctl.conf

echo "net.ipv4.tcp_congestion_control=bbr" >> /etc/sysctl.conf

sysctl -p

sysctl net.ipv4.tcp_available_congestion_control

sysctl -n net.ipv4.tcp_congestion_control


调整tcp内核参数

调整tcp内核参数,让滑动窗口大小突破64kb

sysctl net.ipv4.tcp_window_scaling=1

提速结果

人均速度提升

4.1 人均速度图

人均速度提升:50%左右

速度区域占比提升

4.2 速度区域占比图,蓝色为1M/s- 2M/s,绿色为2M/s以上


1M以上人数占比提升:100%左右

参考文献:

收藏
暂无回复