为了搞清楚CDN的原理，我头都秃了...

发表于 3年以前 | 总阅读数：387 次

CDN 概述

CDN 全称 Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定

CDN 的工作原理 就是将源站的资源缓存CDN各个节点上，当请求命中了某个节点的资源缓存时，立即返回客户端，避免每个请求的资源都通过源站获取，避免网络拥塞、缓解源站压力，保证用户访问资源的速度和体验。

举一个生活中的例子，我们在某东上购买商品，快递能做到当日送达，其根本原理是通过在全国各地建设本地仓库。当用户购买商品时，通过智能仓配模式，为消费者选择就近仓库发货，从而缩短物流配送时间。

image.png

而商品库存的分配，流程可以参考下图，从工厂（源站） -> 地域仓库(二级缓存) -> 本地仓库 (一级缓存)

image.png

内容分发网络 就像前面提到的 智能仓配网络 一样，解决了因分布、带宽、服务器性能带来的访问延迟问题，适用于站点加速、点播、直播等场景。使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度和成功率。

image.png

CDN的诞生

image.png

CDN 诞生于二十多年前，为解决内容源服务器和传输骨干网络压力过大的问题，在 1995 年，麻省理工学院教授，互联网发明者之一 Tom Leighton 带领着研究生 Danny Lewin 和其他几位顶级研究人员一起尝试用数学问题解决网络拥堵问题。

他们使用数学算法，处理内容的动态路由安排，并最终解决了困扰 Internet 使用者的难题。后来，史隆管理学院的 MBA 学生 Jonathan Seelig 加入了 Leighton 的队伍中，从那以后他们开始实施自己的商业计划，最终于 1998 年 8 月 20 日正式成立公司，命名为 Akamai。Akamai 公司通过智能化的互联网分发，结束了 “World Wide Wait” 的尴尬局面。

同年 1998 年，中国第一家 CDN 公司 ChinaCache 成立

CDN工作原理

接入CDN

在接入CDN前，当我们访问某个域名,直接拿到第一个真实服务器的IP地址，整个流程如下（图有点简陋）

image.png

当我们需要加速网站时，通过向运营商注册自己加速域名，源站域名，然后进入到自己域名的DNS配置信息，将 A 记录修改成 CNAME 记录即可。阿里云加速申请参考如下：

image.png

CDN访问过程

image.png

1、用户访问图片内容，先经过 本地DNS 解析，如果 LDNS 命中，直接返回给用户。
2、LDNS MISS，转发 授权DNS 查询
3、返回域名 CNAME picwebws.pstatp.com.wsglb0.com. 对应IP地址(实际就是DNS调度系统的ip地址)
4、域名解析请求发送至DNS调度系统，DNS调度系统为请求分配最佳节点IP地址。
5、返回的解析IP地址
6、用户向缓存服务器发起请求，缓存服务器响应用户请求，将用户所需内容传送到用户终端。

图：华为云全站加速示意图

CDN解决了什么问题

骨干网压力过大

Tom Leighton在 1995 年，带领团队尝试用数学问题解决网络拥堵问题，从而解决骨干网络压力过大的问题。由于上网冲浪 的少年越来越多，造成骨干网的核心节点流量吞吐不足以支撑互联网用户的增长，通过CDN可以避免用户流量流经骨干网。

骨干网是一个全球性的局域网,一级互联网服务提供商（ISP）将其高速光纤网络连接在一起，形成互联网的骨干网，实现在不同地理区域之间高效地传输流量。

1、局域网

局域网(Local Area Network，LAN)是指在某一区域内由多台计算机互联成的计算机组，比如：在大学时期，晚上12点后断网了，我们仍然能够通过路由器开黑打CS，魔兽。那就是基于局域网互联，实现资料共享与信息之间的通信。

image.png

2、骨干网

这里引用一下中国电信全网架构，骨干网可以理解成是一个全国性的局域网，通过核心节点的流量互通，实现全网网络的互通。这也是为什么我们称为互联网 的原因。

image.png

北京、上海、广州，是ChinaNet的超级核心。除了超级核心之外，ChinaNet还有天津、西安、南京、杭州、武汉、成都等普通核心。

image.png

三公里之 middlemile

通常网络访问中会有"三公里"路程

第一公里为:源站到ISP接入点
第二公里为:源站ISP接入点到访问用户的ISP接入点
第三公里(最后一公里)为:用户ISP接入点到用户客户端

CDN网络层主要用来加速第二公里(middlemile),

在 CDN 的基础架构中，通常使用两级 server 做加速：

L1（下层）：距离用户（或俗称网民）越近越好，通常用于缓存那些可缓存的静态数据，称之为 lastmile（最后一公里）。
L2（上层）：距离源站越近越好，称之为 firstmile（第一公里），当 L1 无法命中缓存，或内容不可缓存时，请求会通过 L1 透传给 L2，若 L2 仍然没有命中缓存或内容不可缓存，则会继续透传给 L2 的 upstream（有可能是源站，也有可能是 L3），同时 L2 还可以做流量、请求数的量级收敛，减少回源量（如果可缓存），降低源站压力。
L1 和 L2 之间的部分，是 CDN 的 ”内部网络“，称之为 middlemile（中间一公里）。

image.png

CDN的组成

全局负载均衡系统 GLB（Global Load Balance）

image.png

当用户访问加入CDN服务的网站时，域名解析请求将最终由 “智能调度DNS”负责处理。
它通过一组预先定义好的策略，将当时最接近用户的节点地址提供给用户，使用户可以得到快速的服务。
同时它需要与分布在各地的CDN节点保持通信，跟踪各节点的健康状态、容量等信息，确保将用户的请求分配到就近可用的节点上.

缓存服务器

缓存服务器主要的功能就是缓存热点数据，数据类型包括：静态资源（html,js,css等），多媒体资源（img,mp3,mp4等），以及动态数据（边缘渲染）等。

众所周知耳熟能详的与 CDN 有关的开源软件有：

Squid
Varnish
Nginx
OpenResty
ATS
HAProxy

具体对比可参考：https://blog.csdn.net/joeyon1985/article/details/46573281

CDN的分层架构

image.png

源站

源站指发布内容的原始站点。添加、删除和更改网站的文件，都是在源站上进行的;另外缓存服务器所抓取的对象也全部来自于源站。

CDN 调度策略

DNS 调度

基于请求端 local DNS 的出口 IP 归属地以及运营商的 DNS 调度。

DNS 调度的问题：

DNS 缓存时间在 TTL 过期前是不会刷新的，这样会导致节点异常的时候自动调度延时很大，会直接影响线上业务访问。
大量的 local DNS 不支持 EDNS 协议，拿不到客户的真实IP，CDN 绝大多数时候只能通过local DNS IP来做决策，经常会出现跨区域调度的情况。

HTTP DNS 调度

客户端请求固定的 HTTP DNS 地址，根据返回获取解析结果。可以提高解析的准确性(不像DNS调度，只能通过local DNS IP来做决策)，能很好的避免劫持等问题。

当然这种模式也有一些问题，例如客户端每次加载URL都可能产生一次HTTP DNS查询，这就对性能和网络接入要求很高。

302调度

基于客户端 IP 和 302 调度集群进行实时的流量调度。

我们来看一个例子：

访问 URL 链接后，此时请求到了调度群集上，我们能拿到的客户端信息有客户端的出口IP（绝大多情况下是相同的），接下来算法和基于 DNS 的调度可以是一样的，只是判断依据由 local DNS 出口 ip 变成了客户端的出口IP。
浏览器收到302回应，跟随 Location 中的 URL，继续发起 http 请求，这次请求的目标 IP 是CDN 边缘节点，CDN节点会响应实际的文件内容。

302 调度的优势：