东风汽车有限公司cae高性能计算平台建议书(编辑修改稿)

东风汽车有限公司cae高性能计算平台建议书(编辑修改稿)内容摘要：

kload Scheduler Loadleveler，他可以实现资源利用率和吞吐量的最大化。 对于影响高性能计算程序的编程环境IBM 有历经几十年的强大编译器（最优的SPEC OMP2001性能）和优秀的数学与科学函数库ESSL, PESSL。 IBM 更有经过充分优化的并行运行环境IBM PE及调试工具。 其次，IBM在系统层面保证（大型）高性能计算系统的可用和可靠性，除上述系统连接、监控和系统管理功能外，IBM的优势在于IBM全球服务部以其在高性能计算上多年的经验和积累，将根据“应用”和“客户”的具体需求对整个系统运行环境的客户化，包括IP地址规划、主机名规划、操作系统包规划、各种服务规划以及集群系统本身的安装、维护、客户化、集群作业的分发、集群资源的分配、并行软件编译环境等等。 这点对于高性能计算进入实际生产应用意义深刻。 在高性能计算方面，IBM有一批资深的技术专家，他们不仅了解IBM的产品和技术，而且了解行业的应用，熟悉行业的应用软件，这些专家负责与应用软件商和客户应用的密切技术合作和支持，经常地与应用软件开发商一起研究和优化应用软件，使应用软件在IBM的计算机体系结构上运行得更好。 有了这些专家的支持，可以使大量的应用软件可以平滑地在IBM的平台上运行，帮助用户更好地使用IBM的技术和产品，协助用户调试和优化相应的应用软件。 最后，厂家长期、稳定的产品售后服务和技术支持体系也是保证一个生产处理系统正常运行的因素。 IBM中国公司在1998年就投资1500万美元成立了国内最大的技术支持中心－IBM中国技术支持中心（IBM China Technical Support Center，即TSC），为国内的用户、代理商及IBM内部提供技术支持服务。 正是由于 IBM 在高性能计算方面长期以来的不懈努力，使IBM在“大规模”高性能计算方面拥有大量用户（安装并已进入实际生产运行）。 并且，IBM公司与业内多家应用软件提供商和服务商有大量的合作和成功案例， IBM的高性能计算解决方案能在硬件和系统的层面满足应用的需要，IBM中国公司在此提供建议书，其目的在于根据IBM在并行计算项目方面的多年经验，为用户提供一个技术上的参考意见，并通过IBM的服务支持，协助用户以最高的性价比获得稳定、可靠的运行。 第 4 章 CAE高性能计算系统设计原则应用通用性原则如上所述，不同CAE软件对计算机系统的需求差异很大，例如NASTRAN应用对内存和I/O的要求很高；而CFD类的应用对CPU速度及网络连接有较高的要求。 为此，该计算机系统必须是一个平衡的系统，在CPU速度、内存容量与带宽、存储容量与带宽及网络连接等各个方面都不应该存在性能瓶颈。 半导体技术和计算机技术的飞速发展，使得不停地有新技术出现以提高某一方面的能力，因此综合优化利用所有在某一时刻最新最先进最成熟的技术才能建立一个全方面均衡的系统，任何一个主要部件的先进不代表整个系统的先进，任何一个主要部件的落后也会导致整个系统的落后。 但毋庸置疑，一个全面实现均衡设计的先进系统必然是一个成本较高的系统，最先采用新技术通常都会带来一些额外的代价。 因此设计一个有具有不同特点的多个子系统构成的高性能计算系统也是一个对CAE应用非常适合的做法。 但这类系统应该具有一个较好的管理机制，能够将不同特点的作业分发到最适合的子系统上进行运算，以获得总体上均衡的效果。 系统高扩展性原则CAE高性能计算系统在提升作业吞吐能力（支持多用户、多作业）的同时，还有一个重要的目标是用来支持中、小规模计算机系统无法解决的特殊业务问题。 为此，该计算机系统不应该是众多低端服务器的简单堆叠。 用来构建该计算机系统的计算服务器必须具有强大的处理能力，并配合以高性能的网络连接。 下表列出了Power575服务器与Intel最新的发布的、采用两路Nehalem芯片（8核）的服务器的一些指标对比，从中可以看出Power575服务器出了具有强大的计算性能优势外，更是一台性能平衡的系统，在内存及I/O等各方面均有优异的性能。 IBM Power 575服务器2way Nehalem服务器性能比理论峰值速度 (GFlops)601缓存容量 (MB)64018内存带宽 (GB/s)27332I/O带宽 (GB/s)94系统高可用性原则建设大规模的高性能计算机系统将面临众多的技术难题，其中系统的稳定性、安全性及易管理性是该计算机系统应具有的基本特征。 最终用户不应该在系统管理和维护上投入过多的人力与物力，而是将精力集中于相应的科研工作。 为此，我们推荐采用更稳定的Power服务器和可靠性很高的刀片系统作为计算节点，辅之以成熟的软件系统和关键部件的冗余化设计，从而建立高可用的高性能计算系统。 处理器性能最大化原则在CAE用户所处的应用领域存在一个现象，即作业的运行时间很难通过增加所使用的处理器数量来减少。 下面分别列出了ANSYS和ABAQUS在典型高性能计算机上不同个数处理器上运行标准测试所花费的时间。 加速比1 CPU2 CPU4 CPUABAQUS, 7 Standard Benchmarks1ANSYS, 12 Standard Benchmarks1ABAQUS是典型的非线性有限元分析程序，从上表可以看出，即使使用4个CPU，也无法将计算时间缩短至只使用一个CPU时的50%。 而ANSYS多处理器并行的效率更差。 分析以上数据我们可以得出结论，若要提高工作效率，缩短作业的运行时间或者在一定的时间内运行更多的作业或更复杂的作业，只有提高单处理器的性能才能实现。 也就是说，由8个相对性能为一的处理器构造的高性能计算系统不如使用由4个相对性能为2的处理器组成的高性能计算系统的使用效果好，理想状态下对两个4 CPU的作业它们的性能是一样的，而对于一个作业来讲后者只需前者一半的时间就可完成作业。 对于这类应用，高性能的Power处理器是比较理想的选择，选择性能尽可能高的Power处理器还有另一个好处，就是在得到同样的运行效率的前提下，在应用软件许可证上的花费更少。 高性价比原则只遵循上面的原则会造成系统购置成本不受限制地增加，所以需要在高性价比原则给以制约。 对于显式有限元分析以及流体和碰撞等应用，选择性能价格比更高的刀片式服务器，无疑是非常理想的选择。 同时高性价比原则也不能仅理解成硬件系统的性价比，而应该将所需软件的费用一并纳入考虑内容；也不应只是考虑系统在采购时的性价比，而应考虑系统故障造成的时间损失和信誉损失、维修备件成本、维修人员成本、能源费用等。 第 5 章 CAE高性能计算平台方案关于XX汽车CAE项目投资的几点建议216。 根据测试结果及我们以往在汽车行业的经验，理想的计算环境应该是SMP小机+Linux cluster的混合架构；216。 项目投资应有计划、分步骤地有序进行，一期可先上cluster保证碰撞和显式计算并规划好未来扩展的计划；216。 保证ABAQUS、NASTRAN等隐式计算可以在cluster架构下过渡性地运行，明年二期可以平滑地迁移到计划的SMP小型机上，不建议采用X86 SMP服务器216。 存储需要考虑并行文件系统，可以考虑一期用两个I/O节点保证I/O吞吐量并兼顾可靠性，后期可平滑扩展；216。 考虑到碰撞等应用对时间延迟的敏感性，建议采用InfiniBand等高速网络连接，并制订后期扩展计划216。 作业调度方面，一期可考虑开源软件，后期可选择LSF,PBS Pro，LoadLeveler等商业版作业调度系统。 总体方案描述根据客户需求,一期采用刀片集群方案，二期扩展SMP小型机，具体方案描述如下：使用一套刀片中心，8片刀片，内置万兆交换机为各刀片之间提供10Gb/s带宽。 随着用户需求的增长，该系统可同过增加刀片中心灵活的扩展。 基本配置如下：1） 计算节点: 8片HS22CPU：2 颗 Xeon X5670 CPU (Intel Xeon六核处理器, , 12M L3缓存, )RAM：24GB HDD：2 x 146GB ” SAS热插拔的硬盘集成2个千兆以太网卡万兆的子卡三年免费维护2）用于安装计算节点的BladeCenter H Chassis 1个管理模块1个两组（4个）2900W电源模块内置千兆以太网交换机BNT万兆交换机三年免费维护3）管理节点：1台IBM x3650 M3CPU：2 颗 Xeon E5630 CPU( 12MB三级缓存，最高支持1066MHz内存频率， GT/s QPI，支持超线程、TurboBoost功能)RAM：16GB HDD：2块146GB ” SAS热插拔的硬盘集成2个千兆以太网卡1个双口独立千兆以太网卡三年免费维护4）I/O节点：2台IBM x3650 M3CPU：2 颗 Xeon E5630 CPU( 12MB三级缓存，最高支持1066MHz内存频率， GT/s QPI，支持超线程、TurboBoost功能)RAM：16GB HDD：2块146GB ” SAS热插拔的硬盘集成2个千兆以太网卡1个双口光纤通道卡万兆以太网卡远程控制卡三年免费维护5）存储设备IBM DS5300高性能磁盘阵列双控制单元12块300GB，FC磁盘6）机柜套件1个42U，19英寸标准机柜1套15英寸液晶显示套件1套NetBAY Console Switch (KVM)，含键盘，鼠标4个PDU 含配套电源线7）软件部分1．操作系统 ： Linux2．集群管理系统 ：IBM xCAT本系统集群管理软件采用xCAT完成集群管理功能，本方案建议选择主管理节点作为xCAT的管理服务器，安装xCAT服务器端软件。 xCAT服务器端软件通过AMM网络与刀片中心的管理模块通讯，得到刀片的状态信息，例如为部署刀片操作系统需要的网卡MAC地址。 通过软件分发网络，与存储节点和登陆节点通讯，进行硬件管理。 xCAT管理操作，通过软件分发网络，与计算节点，存储节点，登陆节点通讯。 xCAT工作逻辑如下图所示：xCAT能够通过单点控制来管理基于Intel的Linux系统群集。 这样便简化了群集的管理，使其能够很方便地扩展，有助于提高系统管理员的效率。 同时，该软件还充分利用了IBM在硬件上的先进技术，如集成的系统管理处理器（Service Processor），使管理软件能够以远程方式管理每一个系统节点，从而方便系统的管理。 xCAT包括一种能够监控软硬件事件的基础设施，在适当的时候可以触发自动恢复操作。 CSM的这种较高可靠性基础设施和事件监控功能，有助于快速检查和解决问题，从而增强了群集的可用性。 具体来讲，IBM的集群系统管理软件可以实现如下的功能：l 实现系统的并行安装和配置；l 管理和同步节点的配置文件；l 提供系统远程运行命令操作，允许以命令或脚本方式运行在集群中的所有节点上l 支持用户帐户统一管理；l 提供远程硬件控制，如：节点的远程开机、关机和重新启动；l 动态监视系统资源使用情况；3．编译器：GNU 编译器：C/C++编译器，Fortran77/90/95/编译器4．并行环境软件：IBM Tivoli Workload Scheduler Loadleveler, MPI－CH, Maui/OpenPBSTivoli Workload Scheduler Loadleveler——是一种动态任务计划和负载平衡软件，可在集群的内部支持数以千计的各种任务；5．文件系统：IBM GPFS （通用并行文件系统）GPFS——是一种高性能共享磁盘文件系统，可提供对集群中所有节点的快速数据访问。 单节点最高带宽15GB/s，I/O平衡调度改善吞吐性能，已安装的美国ASCI Purple 实测达到102GB/s；6．系统监控管理软件：IBM Systems Director8）技术集成IBM完成硬件系统平台，操作系统，系统平台软件的安装调试以及与LSDYNA,radioss, NASTRAN等专业软件商联合安装与调试，确保用户的应用软件的正常运转。 9）日常维护使用IBM提供的高级群集管理软件xCAT，能够通过单点控制来管理基于AIX/Linux系统群集。 这样便简化了群集的管理，使其能够很方便地扩展，有助于提高系统管理员的效率。 同时，该软件还充分利用了IBM在硬件上的先进技术，如集成的系统管理处理器（Service Processor），使管理软件能够以远程方式管理每一个系统节点，从而方便系统的管理。 通过现场培训用户可以简便的完成系统管理工作。 二期扩展方案根据现有的架构，二期可以方便地增加刀片加入现有集群，并通过xCAT管理新增加的小型机；同时，GPFS并行文件系统在线扩展文件系统和添加I/O节点，并支持分级存储。 方案具有非常好的扩展性。 第 6 章 相关产品技术介绍 IBM BladeCenter要点： n 提供业界最全面的兼容机箱、刀片服务器、存储器和联网产品的选择性。 n 通过多层冗余提供极为牢靠的可用性。 n 端到端的可靠性和最佳业务实践承诺。 n 通过创新的冷却技术提供卓越的电源效率。 n 基于开放技术提供卓越的I/O性能和交换功能。 l 高效整合：IBM BladeCenter H将服务器、存储、网络、I/O 与应用程序紧密地集成在一起，客户可以使用通用构建模块构建强大而灵活的 IT 基础架构。 业务增长时，只要插入新的刀片即可，非常简单。 模块化设计能节约大量的电缆成本，而且在很大程度上减少了由于电缆太多而造成的混乱和路由上的麻烦。 由于电缆数量的减少，能够大大提高机架后面的空气流通自由度。 l 刀片中心具有非常高的可靠性及可用性，刀片中心中连接后部共享模块和前部刀片服务器的中间背板，其上半部与下半部的功能相同并相互独立，从而实现了背板的冗余配置。 所以IBM刀片中心中的所有部件都可以冗余配置，包括风扇、电源、交换机模。