统一数据交换平台的设计与实现

统一数据交换平台的设计与实现内容摘要：

Server 专用数据服务器。 该服务器不再承担应用服务，称之为“瘦服务器” Thin 口 ]。 数据服务器通过局域网的接口与应用服务器连接。 由于采用局域网上通用数 据传输协议，如 NFS， CIFS 等，所以能够在异构的服务器间共享数据，这一点在 便于维护和管理，在异构环境下确实具有一定的优势 [41。 Area Network 采用高速数据 连接通道一光纤通道 存储区域网络 Storage Fiber 系统相互独立。 将设备连接到 FC 集线器或交换机上，便于扩展系统规模。 FC 的 传输速率和可靠性极高，能够满足当前视／音频业务的需求。 在 SAN 中，所有的 存储设备和存储数据均可采用中心化管理，使得整个存储系统具有可伸缩性。 并 且，可以通过存储设备的集群方式而达到高可用度。 ’ 从软件角度看，上述三种类型存储系统的体系结构是不一样的。 在 DAs 中，应用与存储是一体化的，通过系统总线访问存储设备； NAs是 应用与存储分离的系统，应用服务器通过局域网 LAN 访问文件存储系统，通 统完全分离，存储系统实际上成为运行应用程序服务器的设备，二者以高速FC 连接。 东北大学工程硕士学位论文 第二章应用技术综述 2． 1． 2 存储系统类型的比较 从以下几个方面论述直接依附存储系统 DAS 、网络依附存储系统 NAS 、 存储区域网络 SAN 等三种存储系统类型的技术特点： 1 独立性 存储系统的独立性反映了服务器与存储系统问的依赖程度。 独立性越强，服 务器与存储系统之间的相关性就越小。 实际上，独立性强的存储系统可以自成体 系，不必考虑与服务器物理连接的细节。 在传统存储系统 DAS 体系中，存储系统与服务器紧密连接，存储并未构成独 立系统，只能被视作服务器的存储子系统或存储设备。 在这种结构中，更强调服 务器与存储设备 例如磁盘阵列 的连接性，即能否连接和连接性能。 基于 NAS、 SAN 的存储系统是完全独立的，不存在与服务器之间紧密的、依 赖性 物理硬连接。 其扩充能力亦与服务器无关，可以通过扩充网络系统和存储系 统而扩展整个系统。 2 带宽与瓶颈 在传统存储系统 DAS 中，应用程序必须通过服务器访问存储设备。 考虑到所 有的访问都必须穿透服务器，所有的数据传输和元数据处理都要通过服务器，服 务器就会成为整个系统的瓶颈 f“。 因此要求服务器有很大的吞吐速率。 而 NAS 的性能和服务质量 QoS 受制于网络传输数据能力，在重负荷时， 以太网的延时和传输速率是无法预期的。 在 SAN 的存储系统中， FC 提供高达 1Gb／ s 的速率，使得视／音频实时、不间断传输成为可能。 特别是在无压缩视频信 号情况下， FC 仍然能够满足传输需要。 3 共享性 在传统存储～服务器体系中，存储设备并非直接面向网络用户或应用程序， 而是以服务器作为访问的入口。 作为存储设备，无论是硬盘、还是阵列，都是间 ． S． 东 北 大 学 工 程 硕 士 学 位 论 文 第二章应用技术综述 接地提供数据共享服务，真正意义上的物理连接只有服务器的连接。 考虑到物理 连接上的困难，一个磁盘阵列通常只能提供有限的访问接口。 对于具有多个服务 器或很多用户的大型共享应用而言，这是～个制约，无法实现更广泛的、直接的 共享连接。 据共享。 NFS 基于 RPC remote procedure 网络用户可以通过网络连接来共享服务器上的文件和数据资源‘ 781，提供良好的位 置透明性和访问透明性【 9l。 SAN 直接支持服务器与存 储系统之间的多对多连接， 具有共享特性。 4 可扩展性 DAS 体系只能通过增加服务器和磁盘存储量来扩展容量，单一扩展容量儿乎 不可行；业务增长造成的访问流量增加会使服务器成为瓶颈，而扩展服务器价格 过高且管理难度加大。 NAS 可以通过扩展 I／ 0 节点而增加容量，其带宽可以通过 新增的网络接口而得以提高。 SAN 具有可扩展性，可增加存储设备而实现系统扩 充。 5 可管理性 传统的 DAS 造成企业中有大量的服务器和存储系统，其异构型和分布性使管 理 工作难以展开。 NAS、 SAN 均采用中心化数据管理，便于控制网络上的每一个 存储点。 6 存储介质的多样性 虽然 DAS 可以采用多种存储介质，但是它与服务器之间紧密的物理连接，在 使用上受到较多限制。 基于 NAS 的存储系统内，存储设备和文件服务器被有效地 分离，使得整个系统可以采用多种存储介质， SAN 则可以利用不同存储介质和设 备的特点，通过统一的中心数据管理，建立多层次的异构存储体系。 东北大学工程硕士学位论丈 第二章应用技术综述 7 数据的一体化 在传统 DAS 多服务器环境中，数据是分散的，难以实现统一的数据管理。 在 NAS 中，完全采用集中化数据管理。 雨在 SAN 中，则采用统一的管理机制以保 证数据的一体化。 8 高可靠性和安全性 在传统的 DAS 中，主机甚至是双机集群系统，都必须在同一地点，这无疑增 加了潜在的风险，一旦发生火灾等灾害，便会导致整个系统和业务的瘫痪。 NAS 能够通过口令认证及加密设置确保安全性。 内部组件的热插拔、热更换， 冗余的电源、风扇等部件，硬件 RAID 技术，双机集群的支持可以确保整个NAS 系统的最高的可用性。 在 SAN 中，一方面可以利用多条 FC链路建立冗余通道，以保证传输链路的 可靠性；另一方面，可以通过 SAN 内部的 FC 网络建立多层次存储备份体系，以 确保系统的高可靠性。 采用中心数据管理，不同的文件服务器可具有不同的存储 设备的访问权限，从而增强整个系统韵安全性。 2． 1． 3 存储系统体系结构的研究 11】， 基于 DAFS 协议的存储系统体系研究是提升存储性能研究的一个方向【 10 究如何实现统一的，在所有的网络上通用的网络 I／ O 存储系统。 作为其研究基础 的 DAFS 协议的基本原理是通过缩短服务器读写文件时的 I／ 0 路径，来减少和重 新分配 CPU 的计算任务。 它提供内存到内存的直接传输途径，使数据块的复制工 作不再需要经过应用服务器和文件服务器的 CPU， 而是在两个物理设备的预先映 射的缓冲区中直接传输。 于是数据可以直接由应用服务器内存传输到存储服务器 内存，而不必先填充各种各样的系统缓冲区和网络接收器，这样节省了数据复制 ． 10 东 北 大 学 工 程 硕 士 学 位 论 文 第二章应用技术综述 的时间和计算资源，有效提升了存储系统的 I／ O 性能。 SAN 存储系统，并在该 SAN 存储系统中实现了 DAFS，从而实现了统一传输 协议以及统一 NAS 和 SAN 的网络存储系统。 为下一步融合 NAS 和 SAN 存储系统的核心协议。 此外，网络存储系统的智能化 是必然的发展趋势，它将涉及多种不同的体系结构和解决方法 [12】。 2． 1． 4 网络存储设备优化的研究 在网络存储系统中，提升 I／ O 性能的一个很好的办法是以存储空间换取 I／ O 14】。 性能，通过科学的数据分布增强存储系统的数据访问 能力 f13 存放奇偶校验数据，而是在相邻的磁盘上保存该数据块的镜像，所有数据块按照 菊花链方式组织起来。 该方法改进了镜像算法并提升了两路镜像算法的负载平衡 能力。 将磁盘间的数据分段方法和磁盘调度方法相结合是目前数据分布机制研究的 热点。 进一步讲，根据工作负载行为特征和磁盘能力进行动态的配置和选择以实 现网络存储系统的适应性也是该领域的热点问题。 2． 2 应用服务器技术 2． 2． 1 服务器技术与性能不断完善和提升 网络时代为服务器的应用提供了广阔的空间， Intemet 的出现对服务器提出了 11 东北大学工程硕士学位论文 第二章应用技术综述 更高的要求。 作为高端商用领域的核心，近年来服务器产品的技术含量不断提高， 更新换代的速度越来越快，整个产业已经进入了一个技术、应用和市场互动并迅 速发展的崭新阶段。 在服务器产品生产和制造的标准化与开放趋势下，服务器厂 商关注的重点开始逐渐由产品转向 用户，如何适应并满足不断变化、增强的网络 应用需求成为服务器技术发展之中面临的重要问题。 当前， 64 位计算的普及速度 加快，双核技术发布引爆新一轮的芯片大战。 服务器在网络中承担传输和处理大量数据的任务，要具备高可伸缩性、高可 靠性、高可用性和高可管理性。 IA64[161 体系基于 CrossbarSwitch 技术的总线结 构，带动服务器技术特性的提高，如高性能 CPU、多处理器技术、总线和内存技 术、容错技术、集群技术、硬件管理接口、均衡服务器平台技术等。 2． 2． 2 服务器 的功能要求 服务器所要求的高扩展性、高可用性、易管理性、高可靠性不仅是厂商追求 的技术目标，也是用户所需求的 f17】。 服务器性能指标以系统响应速度和作业吞吐量为代表。 响应速度是指用户从 输入信息到服务器完成任务给出响应的时间。 作业吞吐量是整个服务器在单位时 间内完成的任务量。 假定用户不间断地输入请求，则在系统资源充裕的情况下， 单个用户的吞吐量与响应时间成反比，即响应时间越短，吞吐量越大。 为了缩短 某一用户或服务的响应时问，可以分配给它更多的资源。 性能调整就是根 据应用 要求和服务器具体的运行环境和状态，改变各个用户和服务程序所分配的系统资 源，充分发挥系统能力，用尽量少的资源满足用户要求，达到为更多用户服务的 目的。 可扩展性具体表现在两个方面：一是留有富余的机箱可用空间，二是充裕的 I／ O 带宽。 随着处理器运算速度的提高和并行处理器数量的增加，服务器性能的 ． 12 东北大学工程硕士学位论文 第二章应用技术综述 瓶颈将会归结为 PCI 及其附属设备。 高扩展性意义在于用户可以根据需。