地球科学研究中的超级计算
1简介
地球科学包括地质学、地理学、大气、海洋等诸多学科,是直接面对人类与自然关系的自然科学的一部分。地球科学不仅是了解地球固体、液体、气体各层及其与人类关系的渠道,而且通过矿产勘查、气象预报、水文、测绘、地震等学科的科技实践活动,直接服务于资源、能源、环境、防灾减灾等方面的社会经济。
卫星通信技术、网络技术和计算机技术改变了传统的地球科学研究模式。随着遥感、信息技术和各种实时观测分析技术的发展,地球科学进入了覆盖全球、跨越圈层的新阶段,即地球系统科学,从对局部现象的描述推进到对行星机制的探索,获得了全球性、系统性的信息。
在应用方面,地球科学的作用几乎无处不在,从采掘业、工业和农业到建筑规划、旅游和军事。而且随着社会的发展,环境的恶化和自然灾害后果的加重,使得原本主要面向资源的地球科学向环境和减灾防灾方向发展,从而拓宽了地球科学为社会服务的领域。
随着现代检测手段和信息技术的应用,产生了PB/TB级别的地理空间数据,这些数据需要超级计算机进行超过万亿次的处理、解释、访问和利用。另一方面,数字化信息与传播环境的发展也改变了传统基础学科研究的手段和方法。多学科研究团队是完成大规模科学研究和工程实现的重要保证。先进的超级计算机和网格计算技术为基础跨学科研究提供了一个多学科平台。自2002年以来,美国、英国、日本、澳大利亚和欧盟都开始了“电子研究”或“电子科学”项目,投资从6543.8+亿美元到6543.8+亿美元不等。其目的是利用网格技术和中间件技术,将国家或地区高校或研究室的超级计算机连接起来,形成一个多学科资源协同的虚拟平台。同时,先进发达国家正在建立以地球科学为核心的多学科资源共享平台。
超级计算机
正如摩尔定律所解释的那样,计算机的运行速度在迅速提高(每18个月翻一番),制造成本在急剧下降,超级计算的成本趋于合理。目前国内大部分大学都买得起一台万亿计算能力的超级计算机。根据最新的超级计算机性能统计,TOP500显示(截至65438+2004年2月),其中2004年新装358台,2003年新装95台。它们加在一起占全球最快500台计算机的90%以上,如表1所示。计算机提速不是技术问题,关键是软件系统的开发,这是我们的薄弱环节。
在基础学科研究领域,地球科学是使用超级计算机最多的领域。根据TOP500的最新统计(截至2004年2月为65438+台),如表2所示,性能最高的500台超级计算机中,地球物理占51,占总数的10%以上。如天气和气象研究、天气预报等。都加上,地球科学占用的超级计算机比例就更大了。
表1
表2
目前,国内许多高校和研究机构也开展了超级计算体系结构的研究,例如,基于Linux操作系统的集群计算机体系结构。这种架构在大型计算机和超级计算机价格昂贵但现在无法满足更大规模计算要求的情况下,为超级计算任务提供了可行的解决方案。其主要问题是性能比差、可靠性低、维护困难、扩展性差、安全性差。科研人员花费太多精力在系统的建设上,成本也不一定低。
2003年,美国科学院院士、《时代》周刊封面人物陈世清博士回国,在深圳壳牌应星公司发明了超级刀片计算机。陈世清博士也是世界著名的CRAY-MP和Y-MP超级计算机开发的领导者。
超级叶片计算机的叶片设计理念类似于喷气发动机的涡轮叶片。这些“刀片”可以随时拆卸更换,拧在一起会产生强大的动力。超级刀片电脑充分利用了这种设计理念,简约朴素,采用了全新的技术。计算节点的升级只需添加“刀片”,无需重新布线和配置。这种计算机就像一台装满“刀片”的发动机,每一个“刀片”都是一个运算单元,理论上可以无限扩展,可以随时添加和更换,不需要停机。超级刀片计算机采用全新的设计理念和系统架构,运算速度可超过每秒50万亿浮点数,达到美国、日本等先进国家的超级计算机水平。超级刀片计算机具有持久的生命力、安全可靠、合理的性价比和实时协作模式。
地球科学研究中的3个超级计算问题
地球科学研究中的超级计算问题包括:地震数据处理与解释、遥感信息处理与解释、大规模地理信息系统、地理空间数据处理与可视化、地球、大气、海洋等各种自然现象的动态模拟,如地震、洪水、沙尘暴、工程地质结构模拟、物质分子动力学模拟等。此外,在地球科学的研究中,有很多超级计算涉及多学科、跨学科的问题。有些问题是实时、协作的工作流模式。
4基于高性能网络的超级计算
随着计算机和信息技术的发展和应用,特别是高速网络及相关设备的建设和应用,深刻地影响了科学研究的方法,改变了研究的手段,同时也导致了e-Research和e-Science概念的出现。
E-Science是一种超大规模的科研基础设施的定义,它需要全世界科学家的合作,并使用互联网和相关技术。这些协同科研的一个典型特点是,科学家需要访问海量数据集,使用独特的科研设施,消耗大量科学计算资源,进行高性能分析、建模和可视化展示。这种超大规模研究的另一个重要方面是为科学家和交叉学科之间的信息交流和新概念的萌发提供一个跨学科的平台。
E-Research是e-Science的一个更一般的定义和概括,它包括非科学研究的行为和活动。例如,电子研究包括人类学和社会学研究。为了共同工作和享受知识,电子研究还具有使用分布式计算资源的特点。
网格技术在电子研究和电子科学的发展中发挥了重要作用。正如客户和企业可以获得电力供应一样,网格使研究人员和研究机构能够以某种方式访问分布在网络上的数据仓库、专用科学设备、知识服务和强大的计算功能。它们可以实现灵活、安全的知识共享,在科研人员个体、研究机构和资源的动态组合中协调解决科研问题。这种方法通常也被称为虚拟组织。
网络基础设施代表了由分布式计算机、信息和通信技术形成的新的虚拟科学和工程知识环境。它实现了多种形式的科学研究的高效平台。
科学家通过挖掘新知识、交互式建模、使用模拟仿真工具、相互协作解决复杂的科学和工程技术问题,从而导致基础科研设施的变化。复杂的科学和工程问题要求我们新的基础科学研究设施必须是跨学科的、分布式的和集成的。天文学、生物学、地球科学、公共卫生和纳米材料通常需要实现信息集成、数据分析和安全知识共享。都需要对物理设备(如计算机、磁盘阵列、仪器等)进行安全、可操作、持续的访问。)、数据和信息(大量的数据集、商业和科学数据库、信息和软件库、视频和图像库)以及特定的专家和学者。
E-Research中间件是一种具有特定功能的软件,它在整个计算基础设施上为研究机构和个人之间的应用系统、计算资源、知识管理、知识共享和任务协作提供标准的通用工具和服务。它是电子研究计算基础设施的重要组成部分。
美国、英国、欧洲、日本等。都实施了庞大的e-Research计算基础设施的研究计划,希望该计划能够增加国家的长期经济繁荣,充分发挥基础设施提供的知识分布技能。很多研究项目都开发了重要的中间件,有些是国家之间的合作项目或者交流项目,跨大洲的通用中间件的开发。
在美国国家自然科学基金会(NSF)的支持下,美国目前正考虑每年额外投资6543.8+0亿美元,用于建设和开发先进的网络基础设施计划,其中三分之一(约3.95亿美元)将投资于中间件技术研究和相应的开发活动。表3列出了一些重要的电子研究基础设施R&D计划和一些投资于中间件R&D的资金..
表3
尽管中国在网络基础设施的建设上投入了一定的研究资金,但报告显示,有效地利用它来获取研究资源是低效的、耗时的,并且需要更多的人力。用户被迫使用不可靠的手动方法寻找合适的资源;有时有必要与资源所有者协商;有时需要用低效、耗时、昂贵的手段使用这些资源;有时你甚至需要飞越各大洲。对访问高速在线资源、设备、服务和数据缺乏足够的了解,导致许多机会丧失。另外,用户给系统的安全性带来了很多不确定性,需要防止非授权人员入侵资源。由于标准化、系统支持和维护以及用户界面的不完善,研究人员需要在支持和维护软件的过程中投入更多的时间和精力。
地球科学需要一个相互信任、合作、互动和基于高速网络的资源环境,支持软件服务的中间件可以实现这一目标。虽然中国ICT(信息与计算机技术)研究人员对中间件的许多关键技术和服务做了大量的研究,但他们大多数是单学科的研究小组和企业,缺乏中央协调和一个专门应用的驱动。因此,应该在中国中间件研究项目内部以及与国际中间件研究项目之间建立更多的协调机制。目前,中国对中间件基础设施研究的资助有限且分散,这导致了一些项目的重复和低效。
中国需要一个开放的中间件计划,能够确保这些研究活动的集成和整体协调,将现有的传统中间件扩展和改造为符合国际标准的OMP(Open middleware program)架构,并在特殊应用领域提供服务。中间件研究计划还将确定和填补我们与国际中间件研究技术的差异,并将当前研究项目的软件更新为e-Research研究机构可以应用的软件。
当前的网格服务中间件(身份管理、访问控制、供应管理、预订服务、通知服务)在现有的计算基础设施上运行时非常脆弱和不可靠。网格服务组件需要被工程化,以使它们更加健壮和可靠。用户可以完全透明地访问网格所享有的设备、计算和数据资源。我们需要加大对网格服务中间件的研究和投入,提高其标准化、健壮性和可用性。
实施开放中间件计划的重要目的之一是解决和改善OGSA网格服务、基于互联网的应用级中间件、数字图书馆和信息管理服务以及知识服务管理之间的接口。在过去的几年中,GGF(全球网格论坛)开发了网格基础设施规范,如Globus Toolkit和开放网格服务架构(OGSA)。全球网格联盟(包括Globus Alliance、HP和IBM)以WSRF(WS-Resource Frame-work)的形式联合开发网络服务。这也将使网格研究机构能够影响W3C和OASIS开发的技术和工具,现在它已经吸引了大量的工业投资。WSRF和相关技术要求目前还不是行业标准。OMP的职能之一是跟踪这些发展,并确保它们反映和理解中国电子研究和网格技术的现状。
应该重新认识现有的中间件工具和服务,使其更加可靠和实用。
现有的中间件工具和服务应该更具可操作性、趣味性和定制性,并且可以与更大的框架和网格环境集成。
因此,有必要开发新的中间件工具和服务。在缺乏以下功能的情况下,我们应该考虑开发新的中间件:网格安全、网格管理和组装、服务适配质量、工作流引擎、协作工具、多媒体语义索引、智能服务发现、决策支持和假设检验软件、数据和知识验证和修正、自动表示机制、协作可视化、模拟仿真以及为应用系统科学家设计的高端网格用户界面。
专项科学数据仓库中存在大量异构数据集,如空间数据、时间数据、图像、视频、音频、3D、光谱、图形和多媒体等,这些数据集应能与其他领域的信息资源、数字图书馆(发表的文章和论文)和网站进行访问、共享和集成。
知识网格层需要添加到现有的计算和数据网格中,这将涉及定义知识管理服务和网格管理之间的接口,并实现知识网格服务和网格环境的集成。
加强研究工作的协调,加大资金投入,可以防止工作重复,缩小与国际的差距。
5协作计算中间件
理论上,中间件是在用户之间,应用系统之间,或者用于解决复杂科学和工程问题的资源之间(见下图)。中间件提供了一套通用的服务和工具,允许研究人员和应用系统处理计算、数据仓库和其他分布式资源,就像它们是一个非常大的虚拟设施一样。中间件将应用系统所需的一组核心服务放在一个标准的、无处不在的容器中。这种通用服务简化了应用系统的开发,提供了系统的健壮性和互操作性,减少了大量的重复性工作,提高了各方面的效率。
计算基础设施的关键组件图
虽然中间件分为三种类型的服务和工具,但还有一些其他传统的方法来划分中间件的空间。此外,一些组件(如安全性、语义、源等。)实际上跨越了所有这三个类别。
网格服务和资源管理中间件:这个中间件包括一个开放网格服务设施OGS(Open Grid Services infra structure),它在网格数据和计算资源之间以及使用这些资源的高端应用服务之间提供访问、通信、安全、认证、记账和协调服务。计算和数据网格依赖于网格服务中间件,因此也称为资源管理中间件。
知识管理中间件:该中间件提供了大量的服务和工具,用于索引、存档、查询、分析、集成、管理和表示各种类型的大型数据仓库和视频信息存储仓库。这些工具可以实现多学科数据集的集成和自动索引,实现交互式分析、建模和可视化。工具还可以挖掘、获取和发布新层次的知识,享受新的注释。
协作中间件(Collaborative middleware):这种中间件提供服务和工具来支持正式和非正式、实时和非实时的协作活动,这些活动可能发生在远程科学家、研究机构或资源(动态和可扩展的虚拟组织)之间。表4列出了这些中间件的基本功能,这些功能通常需要在本研究项目中进行集成和开发。
表4
继续的
6结论
地球系统科学的发展对经济和社会的可持续发展起着重要的作用。
地球系统科学的研究需要应用大型科学仪器设备和超大规模计算设施处理PB和TB地质空间数据集。
现代地球系统科学研究涉及大量多学科、跨学科的问题解决,因此需要一个协同的多学科资源共享平台以及使用该平台的技术标准和规范。
地球系统科学的研究不应该是一个孤立的行为,而应该与世界一起研究,资源共享平台可以参与世界e-Research和Geo Grid grid网格建设。
我国用于地球系统科学基础研究的超级计算设施较差,尤其是高校,需要加大投入,整合我们的基础研究资源。
建立地球科学超级计算和地理空间数据处理基础研究平台。
以地球科学基础研究为目的的多学科资源共享环境和地球科学网格计算环境。
开展具有超级并行计算、分布式协同处理和多学科资源的中间件研发,以及相关应用基础研究。
为参与更大的全国乃至世界级科研网格R&D打下基础..
参考
王、赵、仇、、尹鸿福。2003.从实施可持续发展战略看中国地球科学教育的未来。教育部科学技术委员会专家意见,第11号(共25号)。
林晖龚建华。2001.虚拟地理环境-在线虚拟现实的地理视角。当代科学前沿。北京:高等教育出版社。
蒋斌,黄波,冯路。2002.GIS环境下的空间分析和地理可视化。当代科学前沿。北京:高等教育出版社。
邬建国。2000.景观生态学——格局、过程、尺度和等级。当代科学前沿。北京:高等教育出版社。
蒲端良,龚鹏。2000.高光谱遥感及其应用。当代科学前沿。北京:高等教育出版社。
张幼学,殷安。2002.地球的结构、演化和动力学。当代科学前沿。北京:高等教育出版社。
陈长生。2003.海洋生态系统动力学和模型。当代科学前沿。北京:高等教育出版社。
长度Foster,C.Kesselman.2005 .网格计算(英文版)。北京:机械工业出版社。
A.格拉玛、A .古普塔、G .卡里皮斯和V .库马尔(张武等译),2005年。并行计算简介。北京:机械工业出版社。
J.杜阿托,S .亚拉芒奇利和L .倪(张民选等译),2004年。并行计算机互联网技术--一种工程方法。北京:电子工业出版社。
G.Tel(霍宏伟译)。2004.分布式算法介绍。北京:机械工业出版社。
W.斯塔林斯(齐·,等译),2003年。高速网络和互联网-性能和服务质量。北京:电子工业出版社。
R.布亚(郑为民等译。) .2001.高性能集群计算-结构和系统。北京:电子工业出版社。
R.布亚(郑为民等译)。高性能集群计算-编程与应用。北京:电子工业出版社。