虚拟路由器(路由器手机端登录入口)

12月13日-14日，由云起社区和阿里巴巴技术协会联合主办的2017“阿里巴巴双11技术十二讲”圆满落幕，重点分享2017双11背后的黑科技。本文是“网络虚拟化技术为双11提供智能网络”讲座的整理。主要阐述了混合云技术的应用和挑战，网络虚拟化技术的背景和实例，双11中阿里云网络产品和服务，混合云技术难点的挑战和解决方案。

顾客:何江

阿里云高级技术专家，7次参与双11，负责阿里巴巴集团网络虚拟化、负载均衡等阿里云网络产品和网关产品的研发。

本文来自阿里云网络虚拟化技术专家何江在2017阿里双11线上技术峰会上的分享。整个分享由四部分组成:

混合云技术的应用与挑战

网络虚拟化技术的背景和实例

双11阿里云网络产品和服务

解决混合云难题的五大技术

混合云技术的应用与挑战

与往年不同的是，2017年的双11活动采用混合云方案举办。在双11期间，阿里云的技术人员将现有的华北、华东、华南三个电商单元与阿里云同步，搭建了三个对应的混合云方案。通过使用这种混合云方案，成功承接了每秒25.6W的峰值交易，抵御了当天零点双11的订单和交易压力。事实上，混合云的应用还隐藏着很多挑战。

首先，由于“云”上聚集了大量的用户，安全隔离的问题就会凸显出来:如何保证公有云中的电商单位进行有效的安全隔离，成为了一个亟待解决的问题。

第二个问题是网络连接，不仅包括本地电商单元和本地云电商单元之间的连接，还包括三个不同区域的电商单元之间的数据交互和连接。双11期间流量极高，往往以t为单位计算，如何保证网络连接中极高的吞吐量和极低的时延能够并行实现，也是一个巨大的挑战。

第三个挑战在于应对超大规模。混合云的网络很大，网络中涉及的虚拟机也很大。随着Docker技术的使用，当使用VM中的Docker进行计算时，涉及的规模会更大。

最后一个挑战来自灵活的扩张。如何尽可能缩短双11前的准备时间，在最短的时间内打通想要的资源，在双11洪峰过后，在最短的时间内将已经投入使用的资源释放回资源池。事实上，不同于两个云(电商单元和公有云单元)之间利用网络的简单链接，混合云的应用会涉及到很多复杂的问题。下面几段，我们将介绍双11运维中解决这些问题的方法。

网络虚拟化技术的背景与实例

首先要说的是网络虚拟化技术。什么是网络虚拟化技术？我们可能已经对网络的概念有了一个基本的认识:一个网络在投入使用之前必然有一个建设周期和过程，但是只要投入使用，网络就会变得固定。如果要大刀阔斧的改变，需要巨大的成本和时间周期。这就带来了一个问题，如果用户对网络的需求是非常灵活和高度弹性的，那么用什么样的网络来满足用户的需求呢？

网络虚拟化技术应运而生。我们知道，虚拟机技术的原理是将一台物理服务器虚拟成N台虚拟机，然后将每台虚拟机提供给不同的租户。网络虚拟化也类似。它通过虚拟转换技术将一个物理网络虚拟成N个虚拟网络，然后将每个虚拟网络赋予不同的用户，以满足用户对网络环境的需求。

网络虚拟化技术不仅仅是地址空之间的虚拟化。首先，网络是一个拓扑。拓扑虚拟化实现后，在网络承载流量的过程中，还需要涉及相关设备的虚拟化。虚拟路由器、交换机、网络网关、VPN设备等。应该在每个虚拟网络中提供。用户可以根据自己的需求，用虚拟地址空和网络设备组建自己的虚拟网络，然后将虚拟机、数据库、存储服务等内容放在虚拟网络上，组合成一个整体的解决方案。

前面提到了网络虚拟化技术的概念。接下来说说阿里云的网络虚拟化系统洛神。如图，中间有一个框架，代表数据中心网络，由物理网络设备组成。但围绕这个框架，我们可以看到互联网网关、LB网关、VPN网关、混合云网关、云服务网关、SDN控制器、网络分析平台、vSwitch(加载在每台物理机上的虚拟交换机)等各种内容。通过它们的结合，将物理网络虚拟化，为每个租户提供一个虚拟网络，同时通过在网关中的实现，配合vSwitch将各种网络设备虚拟化。

比如:虚拟路由器。路由器的传统概念是基于物理的网络设备。但是在网络虚拟化系统中，虚拟路由器只是承载功能，没有实体。它以分布式的方式存在于整个图形的各个部分。阿里云的洛神系统也是类似的方式，将各种网络和网络设备虚拟化，供用户使用。

你可能对此有疑问。网关那么多，它们是如何与我们接触到的虚拟网络设备链接的？本文采用了一种VXLAN隧道分端技术，通过分端将用户ID、网络号等特征集成在一起。当用户包从VM/VM Docker开始流动，进入数据中心网络时，封装成一个VXLAN包，在数据中心流动，通过唯一的ID来标识租户，以区分用户之间的流量。

前面介绍了利用VXLAN技术实现租户之间的隔离，那么封装后如何建立虚拟路由呢？我们知道，路由器实现的功能主要包括接收、搜索、修改和发送数据包，以及管理路由表。SDN控制器在这些功能中起着关键作用。虚拟网络首先通过API串联虚拟路由，在使用过程中可以添加、删除和查看路由。并通过SDN将路由表发送给洛神系统中的各个相关网关和vSwitch。当用户的数据包开始流动时，对应的路由表和路由转发路径已经确定。

我们刚刚介绍的是数据包的搜索、修改和发送，以及提供用户管理的界面。但是一个网络的运行并不是简单的串联，实际过程中会出现各种异常:比如数据中心的交换机或者路由器，网卡出现故障。这时候如何保证用户的数据包正常运行？洛神专门做了一个网络分析平台，用来保证网络SLA。它从控制和转发路径中提取各种运行状态和信息进行分析处理，从而诊断网络的健康状态，指出问题的核心。

可以看出，阿里云的洛神网络虚拟化系统是一个一体化的解决方案，包含了无数子系统，共同形成稳定的、虚拟化的网络技术和服务。

双11中的阿里云网络产品服务

在上一段中，我们详细介绍了网络虚拟化技术的构建。那么，双11当天给电商单元送什么样的服务呢？在下一节中，我们将继续介绍网络服务作为产品提供给用户时的组成和状态。

我们可以看到，阿里云在双11期间的网络产品可以分为三个部分，左右各有一个独立的VPC，分别是华东和华北两个云单元所属的两个虚拟网络。它们附加了EIP，用于提供灵活的公网IP，实现云服务器ECS中VM资源的快速绑定和解除绑定，同时提供负载均衡技术。访问在后端虚拟机中直接平衡，创造了出色的容灾能力。当后端ECS无法工作时，它会将请求和流量切换到其他ECS。另一个重要部分是NAT网关，它提供两个功能。第一个是将后端服务映射到互联网，第二个是为后端虚拟机访问互联网或其他单元提供SNET。连接VPC的VPN用于提供运维控制链路的能力，接口在互联网上开放，让相关员工出差时可以管理云上的资源。

另外，不难看出，图中左右VPC之间有一个明显的连接，就是所谓的高通道VPC互连。通过高信道产品，实现华东和华北两个单元之间的链接，使其能够完成交易、通信功能，并提供数据包接入。下侧还有一个专用的接入点，用来提供组建混合云的能力，让云上的单元和非云共同组建混合云。

通常情况下，如果非云单元想要接入云单元，最自然的方式就是与本地混合云通信，而阿里云的一线接入能力拓展了这一路径。只要接入阿里云的任何一个VPC，都可以与所有本地和远程的云单元进行通信。通过这种形式，不仅实现了云上单元之间的通信，还丰富了云上单元和云下单元之间的通信能力。

在VPC也有虚拟交换机和虚拟路由器，它们与物理世界中构建网络的原理和组件没有什么不同。得益于网络虚拟单元出色的承载能力和丰富的容量，可以显著降低对路由器、交换机、负载均衡等项目的要求，避免资源浪费。

五大技术破解混合云难点挑战

利用VPC实现租户之间的隔离

回到最初的混合云挑战，第一个难点是单元之间的隔离。可以看出，所有电商单位的VPC和公有云用户的VPC都集中在阿里云统一的大资源池中。对于用户来说，需要考虑自身的安全隔离是否足够，是否与其他租户隔离，用户单元与阿里自身业务的隔离是否足够，电商单元是否完全安全可信，交易与云上其他租户是否隔离。这里将使用VPC(专用网络)技术。

VPC是一种天然的逻辑隔离技术，通过前面提到的VXLAN技术，保证阿里云上不同租户的流量在不同的隧道中，避免了包串线的情况，为每个用户创建了一个安全隔离的地址空室。如下所示，同一VPC上的多个EC可以相互通信，但两个不同的VPC无法相互通信。这是VPC设计的一个基本原则。

高速通道实现异地多活动

第二个挑战在于网络连接性，云中各个单元之间的通信是否能够足够灵活，达到与同地址空内通信相同的效率，是否能够满足不同地域服务的通信需求。在这方面，阿里云还提供了不同地区之间的虚拟VPC互通技术，利用高信道产品提供跨越MB到TB级别的逻辑电路，并依托阿里底层强大的网络基础设施，创造广阔的灵活性。

事实上，在日常生活中，云下也有多个单元之间的通信核心网络。双11的逻辑核心网可以分为两部分，一部分是非云单元的核心网，一部分是云上互联单元组成的核心网。上云和下云通过高通道产品连接，带宽也可以提供到TB级别。这种能力充分体现了阿里巴巴的底层资源能力和软件定义网络的灵活性，完全符合敏捷的定义。它可以在极短的时间内将逻辑电路从2MB升级到100GB，只需要一个API就可以完成。

网关支持高峰交易。

双11当天，我们买了相应的商品后，付款时还需要进行一次网络访问。组件需要与交易系统交换数据，这个过程需要NAT技术的保驾护航。

双11期间，NAT网关也在经受着巨大的考验。与最基本的逻辑电路不同，它只需要保证最基本的连通性，在连通的同时还需要进行地址翻译。所有需要NAT转换的设备都有一个链接表来反馈转换的状态。有两个关键指标。首先是建立新链接的能力。高水平的新建可以避免零点用户涌入造成的拥堵。事实上，双11当天的NAT建设能力早已超过百万级别。第二是保持大量在线连接的能力，因为双11有大量的电商用户，同时在线连接的数量也是一天，考验NAT网关的有效性。

SLB承载双11的访问流量

面对双11的洪峰，SLB负载均衡系统率先接受挑战。云上的所有服务都需要跨机房的容灾能力，以及多个虚拟机之间的流量负载共享。负载均衡后才能对外提供服务。

对于负载均衡设备，双11也充满了各种考验:在几十几百GB的流量测量下，能否提供足够的吞吐能力；PPS数据包转发能力是否足够；创造新链接的能力是否足够；并发会话数是否足够；提前压力测试无法准确预测零点峰值流量，负载均衡设备能否承载突发压力；后端虚拟机需要紧急扩容时负载均衡的API效率是否足够，对SLB来说是一个巨大的考验。

最终的记录显示，双11当天的负载均衡完美顶住了压力。经过双11多年的流量考验，经过一次次的更新，越来越稳定，经验越来越丰富。

基于API的灵活网络部署

前一段我们介绍了一些关于混合云的内容，以及如何在公有云上灵活的拉出一张Juck Zhang中的大规模网络并快速部署相应的网络设备。所有这些功能都是通过API来操作的。

在常见的物理网络中，这类工作需要通过拓扑连接来完成，而虚拟网络可以通过API模式快速拉起。上一篇文章中提到的专有网络VPC，只需要一个API就可以创建，很快就可以形成一个虚拟交换机及其下属子网。包括负载均衡设备、NAT网关，各种灵活的IP都可以通过API模式进行。包括刚才说的高信道产品，从2MB快速升级到100GB的过程也是通过API完成的。

这意味着今天阿里云上提供的网络都是SDN，软件定义的网络，所有运营用户都可以通过API对网络进行部署、修改和消亡。事实上，双11内部电商marketing unit也通过开放API创建了VPC负载均衡和NAT网关，从而实现了。

这里有一个重点:全链接API。全链路API的应用，使得API具有了高效率，也就是说当一个网络串联起来的时候，它具有了自动排列的功能，并且支持将提供的API核心编写成程序，然后为其提供触发动作，在需要的时候连接、修改、扩展网络。这里从创建、运行和消亡三个维度介绍网络的部署能力。

在网络创建阶段，首先可以通过API创建VPC，分配IP地址，从而构建一个完整的拓扑。接下来，您可以创建负载平衡、NAT网关和其他项目，并使用高速通道联系位于不同地区的VPC单元，以创建和访问混合云。

在运行阶段，用户可以使用API修改网络存续期间的任何配置，获取运行过程中的运行数据、分析、监控、报警等各种信息。以双11混合云为例。前几天技术人员在双11拉起了网络，在投入使用的过程中对网络进行了修改和适配，以满足双11的实际需求。活动结束后，他们杀网，将闲置资源退回公共资源池，转卖给外面的租户。