应用层网络

应用层网络内容摘要：

在源服务器（ origin server）。  CDN提供商：  拥有 CDN架构，为内容提供商提供快速可靠的内容递送服务。  端用户（ client）：  从内容提供商的网站上访问内容的实体。 内容分发环境 CDN的内容  CDN一般保存静态内容：  如图像、视频、媒体剪辑、广告、动态网页中的嵌入式对象等。  在 CDN的上下文中，内容泛指任何数字形式的数据资源，主要包括两大部分：  经过编码的媒体。  元数据：用来标识、发现和管理媒体数据的内容描述。 CDN的客户  CDN的客户一般是媒体和因特网广告公司、数据中心、 ISP、在线音乐零售商、移动运营商、消费电子生产商等。  CDN客户希望可靠而及时地在因特网上向端用户发布和投送内容。  CDN提供商根据投送给端用户的内容（即流量）向内容提供商收费。 CDN的体系结构  基础结构：提供基础设施资源，由通过高速网络连接的分布式计算资源和网络基础设施组成。  通信和连接：提供核心的互连网协议、 CDN特定的协议、认证协议、安全通信协议 SSL。  CDN： CDN核心功能。  端用户： web用户，在 web浏览器上给出内容提供商网站的 URL连接到 CDN。 CDN提供的服务和功能  内容存储和管理  在代理服务器间分发内容  缓存管理  静态、动态和流内容投送  备份和灾难恢复解决方案  监视、测量和报告性能 内容简介  从以下三个方面介绍 CDN：  CDN组成  内容分发和管理  请求路求  参考文献： A Taxonomy and Survey of Content Delivery Networks. CDN的组成  CDN的任务是结合网络条件和缓存服务器负载等动态信息，在多个反向代理（ surrogate）之间重定向请求和平衡负载。  在一个 CDN中，通常使用一组反向代理来建立内容分发设施，使用一些机制将用户请求重定向到一个反向代理，各单元之间使用特定的协议进行通信。 Surrogate 和 Proxy  Proxy用于代理内部网络对因特网的连接请求。 客户机将本来要直接发送到外部服务器上的服务请求发送到代理服务器，由代理服务器中继服务请求。  Surrogate用于代理外部网络上的主机访问内部网络，此时 Surrogate对外表现为一个 web服务器。  反向代理可以增强 web服务器的安全性，和作为后端服务器集群的负载均衡器。  反向代理方式和普通代理方式没有冲突，可以在防火墙设备中同时使用。 CDN的结构特性 CDN的组织方式  网络方法：  在路由器和交换机等网络组件上安装相关软件，将内容请求重定向到本地缓存或特定的内容服务器。  覆盖方法：  使用放置于网络中多个地方的应用特定服务器（反向代理，高速缓存服务器）处理特殊内容（ web内容、流媒体等）的分发。  除了提供基本的网络连接和 QoS保证外，核心网络组件在内容分发过程中不发挥积极作用。 CDN服务器  源服务器（ origin server）：  存放资源的权威版本，由内容提供商更新。  复制服务器（ replica server）：  存放资源的拷贝，并被授权响应用户的请求。  通过源服务器进行内容更新。 CDN的复制服务器  CDN的复制服务器可以作为媒体服务器、web服务器或高速缓存服务器：  媒体服务器（ media server）：提供数字编码的内容，安装有媒体服务器软件，用音频或视频素材响应用户的请求。  Web服务器：包含到流媒体的链接，以及 CDN希望提供的其它基于 web的内容。  高速缓存服务器（ cache server）：在网络边缘复制内容，以减少对源服务器的访问。 流媒体应用的实现  音 /视频文件存储在媒体服务器上，元文件存储在 Web服务器上。  媒体播放器和媒体服务器之间通过RTP/UDP传输音 /视频流，使用 RTSP进行交互性操作。 CDN组件之间的关系  CDN的各个组件通过相互协作来实现 CDN内部的内容复制和高速缓存：  复制：在不同的计算机系统上创建和维护内容拷贝，典型地是将内容从源服务器 “ 推送 ” 到复制服务器。 （ Push）  缓存（ caching）：将可缓存的响应保存在本地，以便将来响应相同的请求。 （ Pull） 用户 反向代理 源服务器  内容投递的基本关系是在用户、反向代理服务器和源服务器之间：  用户一般同反向代理服务器通信。  反向代理服务器用本地缓存的内容响应用户请求，或作为源服务器的网关。 用户 网元 高速缓存代理（ caching proxy）  在网络方法中，网元（路由器、交换机）上的控制逻辑将用户请求转发到相应的高速缓存代理（代理阵列）。 高速缓存代理 高速缓存代理  根据高速缓存代理之间的通信方式，高速缓存代理可以组织成代理阵列或代理网：  Proxy array：紧耦合结构，有一个权威代理作为主代理，与其它代理通信。  Proxy mesh：松耦合结构，每个代理都和其它代理有联系，构成代理网。 Proxy mesh需要一个高速缓存服务器作为网关，转发来自用户本地缓存代理的请求。 代理阵列 和 代理网 协议  CDN中的通信协议分为两类：  网元交互协议：用于将用户请求重定向到一个合适的服务器，涉及路由器、内容交换机 /负载均衡器、服务器等实体。  高速缓存交互协议：用于在分布式高速缓存中确定所请求的内容在哪个高速缓存中。 网元 服务器（ NECP）  运行在服务器（源服务器、拦截代理）与其前端设备（内容交换机、负责均衡路由器）之间的控制协议：  服务器启动时，与网元的熟知端口建立 TCP连接，在 TCP连接上进行双向消息交换。  网元通过消息交换了解服务器的能力、可用性、可以获得哪些内容等，作为重定向用户请求的依据。 重定向路由器 拦截代理（ WCCP）  运行在重定向路由器和拦截代理之间，建立和维护用户请求的透明重定向：  若干拦截代理和若干重定向路由器组成一个服务组，指定一个代理（ IP地址最小）作为首领，负责在代理群之间分配负载，并将负载分配方法在组内传播。  通过该协议，路由器知道如何重定向用户请求；拦截代理知道如何管理高速缓存中的内容。 防火墙安全会话转换协议 SOCKS  SOCKS是为客户 服务器应用安全通过防火墙而提供的一个通用框架。  当内网用户想访问外网服务器时，首先与 SOCKS代理服务器建立连接，进行认证。 若认证通过， SOCKS代理服务器与外网服务器建立连接，并中继用户请求；否则终止与用户的连接。  SOCKS代理服务器只是简单地传递包，而不关心是何种应用协议，因此 SOCKS是一种通用的服务，在概念上位于应用层和传输层之间。 Inter Cache Protocol（ ICP）  Cache被组织成层次结构：  用户请求发送到本地缓存。  若本地缓存没有，本地缓存向同伴缓存广播请求。  若同伴均回复没有或超时，本地缓存向父缓存请求。  若父缓存没有，父缓存或本地缓存向源服务器请求。  ICP基于查询 /应答实现，通信开销大，延迟大。 Cache Digest  每个节点保存其它节点中所缓存的内容的摘要：  本地缓存收到用户请求后，检查本地缓存的内容和其它节点的缓存内容摘要；  若本地缓存有内容，直接响应用户的请求；  若有缓存内容摘要，向相应的缓存节点请求；  若没有缓存内容摘要，向源服务器请求内容。  优点：不需要发送查询消息到其它缓存节点。  缺点：存储摘要的代价很高，节点之间需要更新摘要。 Cache array routing protocol（ CARP）  浏览器利用 cache阵列成员表、一个查找函数和用户请求的 URL，就能确定最合适的 cache服务器。  Cache阵列成员表定义在一个可公开获取的文本文件中，文件中列出了每台代理服务器的名字、 IP地址和负载因子（管理员指定）。  浏览器需要下载 Cache阵列成员表和一个查找函数（ JavaScript函数）。 CARP（续）  查找函数实现 CARP算法：  使用指定的哈希函数计算 URL的散列值及每个成员名字的散列值，两个值结合得到每个成员对该 URL的一个分值。  将该分值与成员的负载因子结合，得到每个成员对该 URL的总分。  总分最高的 cache服务器选中。  优点：  没有缓存冗余，缓存命中率高。  缓存节点间不需要通信，没有查询和更新开销。 内容 /服务类型  CDN提供的内容 /服务有三类：静态内容，流媒体，各种内容服务。  静态内容：  HTML页、图片、文档、软件补丁、音 /视频文件等。  更新频率很低，易于缓存。  所有 CDN提供商都支持静态内容的投递。 流媒体  流媒体包括：  现场音 /视频：内容从编码器立即送到媒体服务器，然后送给媒体用户。  点播音 /视频：内容预先被编码，作为流媒体文件保存在媒体服务器中，用户请求时投送。  流媒体服务需要专门的流式服务器，使用特定软件实现流媒体在 IP网络中的传输。  投送流媒体内容对于 CDN是一个挑战。 内容服务  将 CDN作为服务分发渠。