越海扬波采用英特尔至强E5 2680v2处理器、英特尔至强融核协处理器5100p系列及40Gbps Infiniband网络的第三代高性能计算解决方案帮助中科院地下水数值模拟系统实现了计算性能的大幅提升。
水资源是重要的战略资源，而地下水则是水资源的重要组成部分。作为中国城乡居民饮用水的重要水源，。在当前情况下，污染防治是水环境保护工作的重要组成部分，其对保障水资源安全，对于整个国计民生都具有重要的战略意义。
掌握地下水在介质中的流动状况及污染物的迁移趋势是解决地下水环境保护与污染治理问题的关键，数值模拟则是进行此项研究的重要工具。作为国内从事地球科学研究与教育最重要、拥有最高学术地位的综合性学术机构，中国科学院地质与地球物理研究所长期以来一直承担地下水数值模拟研究方面的重要项目。在地下水数值模拟研究过程中，计算规模、计算效率与计算精度一直都是困扰研究人员，中科院地质与地球物理研究所副研究员董艳辉博士最为主要的问题之一。
历经三代的超算系统
随着实际地下水环境问题复杂性、规模、精度要求的增加，普通计算机的计算能力无法满足计算需求，许多数值模拟问题不得不做大量的概化和数学简化，直接或间接地影响了计算成果的可靠性、有效性和实用性。
董艳辉介绍，在地下水数值模拟发展初期，地下水数值模型的规模和精度要求相对较低，多使用简单几何形状和少量参数分区来描述含水层结构与特征，但实际地下水系统存在非均质性，含水层空间结构也有着复杂性，对于地下水系统描述的不精确，是数值模拟计算结果与真实地下水系统存在误差的重要原因之一。因此，进行精确的地下水数值模拟就需要大量模型网格来描述含水层信息，尽量逼近真实的地下水物理系统。
中国面积广大、水文地质条件复杂，对海量节点的的地下水数值模型进行模拟计算，需要高性能的计算方法。董艳辉和他的团队开发的数值模拟并行计算软件目前已经可以支持上亿个模型节点的模拟计算，对地下水的流动计算更为精确和高效，但同时对计算性能的要求也提出了更高的要求。
事实上，董艳辉研究团队碰到的问题，同时也是国内许多高校和科研院所在开展工作过程中经常遇到的问题。近年来，从教师、研究人员到在校生，在高校和研究机构中对计算的需求正越来越高，而在国家对高性能计算产业投入的支持和倾斜力度不断加大的背景之下，越来越多的教育和科研工作者开始自己编写适用于高性能计算系统的软件，利用先进的信息化手段开展研究工作，高校和科研院所自建和通过云方式公用的高性能计算系统正呈现出规模越来越大、越来越正规的趋势，而院所之间的合作和共建关系也越来越紧密。
在2007年，董艳辉带领团队建设了项目组的第一套高性能计算系统。该系统为基于英特尔至强5355处理器的16+1节点集群结构，在每个节点分配从几十个到数百个不等的计算任务，并将结果归到管理节点进行统计分析。而在2012年，随着单一模型的规模不断扩大，董艳辉又引进了第二套基于至强E7 8850处理器的8路服务器系统对原有的高性能计算解决方案进行升级，从而使单个节点的计算能力得到了有效的提升。
而从2013年开始，董艳辉发现单个的8路服务器计算系统越来越难以满足大量大规模地下水数值模拟的并行计算需求，也正是因此，第三代高性能计算解决方案的升级也正式被提上日程。
经过综合考虑，董艳辉决定将第三代高性能计算系统的建设交给北京越海扬波科技有限公司来完成。作为一家自1996年8月成立以来一直专注于高性能计算领域的服务器供应商，越海扬波在面向科研院所的高性能计算解决方案提供方面拥有丰富的经验。在对中科院地质地球所的地下水模拟计算项目需求进行了细致的研究之后，作为解决方案提供方的越海扬波为董艳辉提供了一套在现有基础上对高性能计算系统进行重建的思路。而这也成为了地质地球所地下水数值模拟项目组更新第三代高性能计算系统的推进剂。
董艳辉介绍，目前已经完成的第三代高性能计算系统配备12个节点，每个节点配备2颗至强E5 2680v2处理器以及64GB内存，其中4个节点配备英特尔至强融核5100p协处理器，各个节点之间通过基于英特尔技术的40Gbps Infiniband网络连接以保证传输速度。经过第一阶段的调优工作之后，整个系统目前已经可以满足地下水数值模拟系统90%的工作任务需求，大达10万平方公里、模型规模上亿节点的地下水数值模拟计算，都可以放到系统中运行。
通过至强E5v2处理器保证单个节点下更高的计算性能，而通过至强融核协处理器保证对多核心、多线程计算的要求。在整个第三代高性能计算系统改造完成之后，地质地球所地下水数值模拟计算系统的性能实现了大幅度的提升。
“我对目前第三代高性能计算系统的评价已经可以打95分了，而未来随着调优工作的进一步推进，相信这套系统发挥的性能还能不断提升。”董艳辉表示。
英特尔核心创造通用价值
在中科院软件所，有一套供整个中科院各个系统使用的高性能计算机，该计算机采用CPU和GPU协同工作的架构，为没有或者缺乏足够单独计算资源的科研人员提供公用账号，通过VPN访问公共计算平台获取计算资源。
在第三套系统建设完成之前，董艳辉也有一部分的测试工作在软件所的公用高性能计算机中完成，为了适应这套系统的架构，董艳辉参加了软件所举办的程序移植和开发培训，并尝试将自己的程序移植到公用的平台上运行。“但是发现问题还是比较大。”他表示，“我们的程序在CPU环境中运行已经非常成熟，要改写到CPU+GPU环境中，在文件的输入输出，以及计算结果的准确性等方面，就会遇到很多难以解决的问题。”
而这也是董艳辉在英特尔刚发布至强融核协处理器解决方案之后，就立即决定采用的原因。由于至强融核协处理器系统与x86架构无缝兼容的特性，原来基于CPU环境开发的、原来完全无法在CPU+GPU环境下运行的地下水数值模拟软件，很容易就能直接运行在新的第三代系统之中。
董艳辉介绍，在高性能计算解决方案中，Infiniband是最为通用的网络连接方式，但在以往搭建的系统中，由于Infiniband产品价格昂贵，许多研究人员的预算无法支撑，只能采用相对廉价的连接方式。而在英特尔完成对Qlogic的Infiniband业务的并购，并推出自己的Infiniband产品之后，价格也做得比较优惠了，从而能让更多的科研人员体验更高速的网络。“英特尔的Infiniband解决方案最突出的优点在于小文件发送的高优先级，这对于我们这样的研究尤其适用。”董艳辉补充。
在计算系统升级项目中采用刚刚发布的至强融核解决方案，无论是越海扬波还是董艳辉的团队都面临着巨大的挑战。越海扬波销售总监刘炜介绍，和英特尔合作密切的越海扬波早在产品发布之前就已经拿到测试样品，但是在项目中实际采用，并充分发挥出至强融核应有的性能，需要做的工作还有很多。
“最难解决的问题是要让系统在科研人员手中跑得更快，让他们直接感受到对至强融核的投入能产生性价比。”刘炜介绍，“在为时两个多月的系统调优过程中，我们和董老师以及英特尔三方以临时研究团队的形式共同研究发展，解决一些以前没有范例可供参考的问题。同时，我们三方会举行定期的技术交流，每一步的优化都要经过三方的讨论和认证。”
在来自英特尔的技术力量和团队也给予的大力帮助之下，程序在新系统下运行的效率已经在原来基础上实现了大幅提升，而董艳辉也相信，未来的地下水数值模拟计算系统还有更大的优化和提升空间。“最先进的计算技术是科研的最佳支持手段，越海扬波作为合作伙伴，帮助我们在第一时间使用英特尔最新的处理器、协处理器，以及高性价比的Infiniband解决方案，与英特尔一起，为计算环境的优化提供支持，这对我们科研上的推动作用是非常大的。”董艳辉表示。
中科院地质与地球物理研究所地下水数值模拟项目介绍
中科院地质所使用的MODFLOW是由美国地质调查局（U.S.Geological Survey）开发的一套用于孔隙介质中地下水流动数值模拟的软件。自从它问世以来，MODFLOW已经在全世界范围内，在科研、生产、工业、司法、环境保护、城乡发展规划、水资源利用等许多行业得到了广泛的应用。目前它已经成为世界上最为普及的地下水运动数值模拟的计算机程序。
基于OpenMP的实现的P-PCG求解程序大大提高了MODFLOW的计算效率，拓展了其在大区域、高分辨率、高复杂性的地下水数值模拟研究中的处理能力。
2008年7月，董艳辉博士在美国旧金山召开的国际水资源计算方法大会（CMWR2008）上进行口头报告，介绍了并行计算方法在区域地下水模拟中的应用研究成果；2009年9月，在美国伯克利参加2009 TOUGH论坛展示了应用 TOUGH2/ECO2N进行的松辽油田咸水层CO2大规模注入对地下水影响的研究成果；同年9月还参加了在武汉召开的第七届地下水模型校正与可靠性国际学术会议（ModelCare2009），在会议上进行口头报告介绍了在高性能地下水数值模拟研究方面的进展；在博士论文中所做的基于OpenMP的地下水流动并行计算方法及模型研究工作，得到了美国地质调查局关注并进行模型联合测试，成果发表在地下水领域国际期刊Ground Water上，至今已收到二十多个国家、50多位国内外学者对源程序的应用申请和积极反馈。Google Scholar学术引用已有20余次。
推荐访问： 英特尔 地下水 助力 数值 架构
