互动科普

网格：计算无国界

Lan Foster

早期人类吃的是自己打的食物，用的是自己造的工具。

为了摆脱这种生产和消费的束缚，我们人类努力了数千年。正是这些努力，导致了农业、大规模制造和电力配送。随之而来的专业化劳动、规模化经济和新技术，决定了我们的现代世界。因此，我才能坐在咖啡屋里，一边喝着咖啡，一边用笔记本电脑写下这篇文章；我完全不必考虑我所用的水、咖啡、电力和无线网络带宽来自什么地方。

这些资源唾手可得，为虚拟化（virtualization）概念提供了例证。对计算机科学家而言，虚拟化指的是，将有用的功能隐藏在一个接口的后面，以掩盖这些功能具体的实现细节。例如，这件咖啡屋的咖啡师拧开水龙头，就像打开一个深不可测的桶，而我将笔记本电脑的电源插到墙上的插座时情况也类似。我只知道插座背后连接着一个巨大的电力网络，管他这些电力是在哪里和怎样生产出来的呢。

然而计算机本身却不是虚拟化的。像我的笔记本电脑这样的家用计算机，甚至一个复杂的企业数据中心，从很大程度上来讲都是运行本地安装软件的独立系统。既然我们不能接受每个家庭、每个企业都开设自己的发电厂、图书馆、出版社和蓄水池的状况，那我们凭什么要接受计算机的大包大揽呢？

这种非最优化的状况，促使计算机科学家去寻找更有效地解决方案。数字网络正变得越来越快，那为什么不将分布的组件动态组装成“计算机”呢？这样用户就能够超越地域的限制，调用任何合适供应者的资源——处理能力、存储、数据和软件等等。也就是说，将通用计算机服务虚拟化。这样的一种计算“网格”，应该可以做到与电力网络一样普遍，而且一样有用。

网格：比英特网更进一步

一旦建立一个普遍深入的计算网格，电子商务企业将成为受益者之一。应用计算网格，电子商务企业能调整它们的信息和计算系统，以适应同时链接的合作者、供应商和消费者的不同需求，因而也扩展了他们所提供的业务。设想一家探险旅游公司在提供潜水地点的虚拟现实的探险服务。当一个潜在的顾客开始探察Cozumel附近的虚拟水域时，这家公司就需要利用数据库和软件来获取相关的地理信息，然后将这些数据转化成三维图像，添加相应

的商业信息，并集成现场摄像机所拍摄的实时视频图像。没有一家旅游公司能独自承担实现这些功能的成本。然而利用网格技术，就可以从不同的供应商那里集成必须的资源，这些供应商都能提供很多客户端，因而能带来可观的规模化效应。

网格系统在其他一些更为深奥的领域也大有前途。如医学领域，在接入远程计算机和数据库后，医生可以将我的X光照片与数以百万计的其他患者的照片相比较，有利于尽早找出病因。网格系统还能使生化学家在1小时内筛选10000种候选药物，而在此之前，这也许需要1年的时间。它也能帮助建筑工程师把抗地震桥梁设计方案的测试时间由几个月缩短到几分钟。

这种全球化虚拟网格计算的概念，实际上是现有因特网的一种自然扩展。因特网虚拟了信息的交流过程，任何人或者设备都能在任何地方以任何方式和其他人或者设备进行连接。随之出现了一系列全新的应用：电子邮件、万维网和点对点应用（包括KaZaA文件共享系统以及SETI@home.FightAIDS@home和Smallpox Research Grid等简单分布式计算系统）。我们这些网格开发者的目标，是对计算和信息进行虚拟化，这样任何人或设备都能向他人提供软件服务，同样重要的是，必须保证对这些不同的服务的接入都是安全和可信赖的。

我个人对网格计算的兴趣，起源于对如何利用计算工具来增进人类智能的痴迷。1990年代早期，我在美国能源部的阿贡国家实验室从事科学计算工具方面的研究。那时高速网络已经初现端倪，很明显，如果我们能通过网络集成数字资源和相关活动，我们就能变革科学工作的处理流程。例说，实验

室的设备可以和远程计算机相连接以实时数据分析。同时我们还可以合并多个分布式数据库以搜寻我们感兴趣的相关性。

因此，我1994年决定将研究重点转移到分布式计算上。通过与阿贡实验室的Tuecke及Kessleman的合作（那时候Kessleman还是加州理工学院的研究员，现在他是南加州大学信息科学学院网格技术中心的主任）。我成立了一个项目来开发能实现全球范围科学合作的软件系统。我们给这个项目取了一个颇为宏伟的名字：全球合作计划（Globus Project）。

分布式计算并非新思想。奠定今日网格系统的许多理论甚至比Internet的出现还要早，如追溯到1960年代中期，时分操作系统之父Fernando Corbato就将那时具有革命性意义的Multics系统称为一种“计算资源”。银行和航空业已经运行复杂的分布式系统几十年了。然而，我们是从不同的角度来处理这个问题的，目的是满足科研领域的需要。根据我们的经验，科学研究往往具有极严格的要求，研究造成的混乱又往往只是部分可控，这些都是创新的强劲驱动力。现在看来，Berners-Lee并非是碰巧发明了万维网，作为一个计算机科学家，正是他和其他高能物理学家的合作，启发了他去创造一种分享信息的全球系统。

在我们看来，科学界需要这样一种技术，它能使不同科研机构里的合作小组（我们称之为虚拟组织VOs）以一种管理有序的受控方式来共享资源。这与从不同的俱乐部征集职业球员组成国家队进行训练以参加世界杯很相似。这些科学虚拟组织破除了传统科研机构之间的界限，当然，同时也带来了无数组织结构上和政策方面的问题。当虚拟组织的成员参加合作项目的时候，他们尤其需要以一种受控制的方式来共享他们的信息、计算机、存储以及软件。当然，他们与足球运动员不同，他们不必穿同样的队服，不必遵守同样的规则，甚至他们还无需参加同一场比赛！

Kessleman、Tuecke和我构思了一种全新类型的集成软件，可以实现这种共享。我们并不需要更换参与站点的系统，我们所做的是将这些站点链接到一个VO结构里面。通过标准化的一系列功能，其中最重要的包括实体认证能力、对活动请求的授权、对可用资源的定义和存取以及对数据移动的控制等，这样的软件就能完成（共享）这个任务。这些VO应用将运行在现有运算结构的顶层之上，因而它们能以可接受的成本实现目标。

网格的早期

很快就有人开始尝试我们的想法，这比预计的还要早。1994年末，美国阿贡实验室数学和计算机科学部的主任L．Stevens以及伊利诺斯大学芝加哥分校电子虚拟实验室主任A．De Fanti，联名提议在称为“超级计算95”的行业会议之前和期间将11个高速科研计算机网络暂时联接起来，形成一个全美范围内的网格(I—WAY)。他们的提议得到了60多名科学家的响应。

Stevens和De Fanti还劝说我和阿贡实验室的其他一些同事开发了将17个参与I—WAY的站点联接成为统一虚拟系统的软件。这些协议允许用户在全美范围内的计算机上运行应用程序，用户登陆一次之后就可以定位合适的计算机、预订时间、导入应用程序代码，然后监控这些程序的执行情况。其中一个实例是，阿贡实验室的Lori Freitag领导的一个小组构建了一个网络，在这个网络里全美国的燃烧工程师可以协同工作以改进工业焚化炉的设计。

I—WAY实验获得了极大的成功，并激励了此后大量的类似应用。美国国防部高级研究计划局向Globus Project投了钱，进行进一步的研究。1997年我们推出了网格软件系统Globus Toolkit的第一版，并在全球80多个站点上演示了它的操作。目前，美国国家科学基金会已经注资成立了用高端计算

机链接大学科学家的“全美技术网格”(National Technology Grid)，美国航空航天局(NASA)也开始了“信息动力网格”(Information Power Grid)的研究，美国教育部也开始了将网格技术应用到科学研究中的前期工作。

1990年代后期，网格概念和技术获得了进一步的发展和应用。例如，欧洲核研究组织(CERN)中正在设计大强子对撞机的高能物理学家发现，为了分析新型加速器所产生的海量数据，网格系统是非常必要的。为了发展所需的网格技术，各种项目相继立项，其中比较重要的有：欧洲数据网格(European Data Grid)，美国的网格物理学网络(U. S. Grid Physics Network)和粒子物理学数据网格(Particle Physics Data Grid)。诸如此类的任务大大促进了网格技术方面的基础设施、用户团体和新的应用软件的发展。

科学研究的国际性要求任何资源共享型的基础设施，必须做到几乎无缝的互联互通。虽然绝大部分的网格系统开发工作都是基于Global Toolkit的，这在一定程度上保证了这些系统问的兼容性，然而要把网格计算推广给更多的用户，就必须有一套妥善定义的技术标准。有鉴于此，1998年，我们中的一部分人发起了这方面的第一次会议，两年后正式形成了全球网格论坛(Global Grid Forum)这样一个国际化的用户团体和标准化组织。

网格的应用

网格技术是基础，然而它本身并不能引起读者的兴趣，因为这个基础在工作的时候，就像下水道系统一样是不可见的。然而正是这个基础，使得一些诱人的实际项目得以完成。

自从伽利略将他的望远镜指向土星以来，天文台里的漫漫寒夜就成了天文学家的宿命。如今计算技术和传感技术的进步，使得新一代的“扶椅天文学家”也能取得显著的成就。这些天文学家再也用不着在孤寂的长夜里瑟瑟发抖，他们只需要白天坐在舒适的办公室里，指令计算机进行数字化的天文观测。这些新时代天文学家进步的主要障碍不是天文观测时间不足，而是怎样去获取分析海量的观测数据所需的软件、存储、网络和计算资源。

美国芝加哥大学、费米实验室和威斯康星麦迪逊大学的一个联合小组，一直在寻找利用网格技术来分析Sloan数字空间勘察系统所得新数据的方法。这一工作旨在对夜空的四分之一进行绘图并确定超过100万颗星体的位置和绝对亮度。利用全美范围的计算资源，我们的目标是将目前要花费科学家整个星期的扫描过程缩短到煮一杯咖啡所需的时间。

该小组已经建立了一个关于星系的数据库，它吸引了一大批研究宇宙起源理论的宇宙学家。小组的另一个项目是对近地天体的搜寻，这项工作和我们每个人都有关系，因为小行星总有一天会撞上地球。这个项目其实是另一个更为野心勃勃的计划的一部分，那就是将许许多多的天文数据库链接在一起，形成一个统一的全球虚拟天文台。

网格技术同时也在临床医学方面获得了重要的应用。由于数字成像技术的使用，无论是在患者本人的不同时间或者患病群体之间，乳房X光照片或者其他身体部位的扫描照片的比较都变得相对容易。然而，改进了的扫描系统意味着医生将面临大量可视化数据的挑战，专家估计现在约有五分之一的乳房X光照片在初次诊断时被误诊。此外，所有病例中有20％在诊断的时候找不到以前所准备的扫描图像了。针对这些问题，现在已经建立起一些数字影像图书馆，例如美国的国家数字乳房X光照片档案和英国的eDiamond等。这些网格系统还将医生与先进的自动诊断分析工具相结合，同时它们还使研究者能进行深入研究以确定环境和生活方式对疾病的影响。

另一个和健康相关的图像网格——美国生物医学情报研究网络，正在将不同来源的身体扫描数据整合在一起，以对大脑图像进行比较研究。这个网格有助于回答诸如“阿尔兹海默病患者的脑部结构和健康人有何不同？”这类问题。

美国地震工程仿真网络（NEES）显示了网格技术是如何支持实验的。建筑工程师设计抗震构件，来检验他们对地震测试平台和离心机等实验设施的构想。这个耗资8200万美元的项目的部分工作就是建立一个NEES网格，该网格将现有和新建的测试设施和数据档案、计算资源和全国范围内的用户连接

起来。NEES网格使得研究者能够参与其他地方进行的实验。例如，按照计划，今年夏天在加州和伊利诺斯州的抗震测试平台上将同时进行一项关于桥梁支柱方面的研究。网络将传递相关的力回馈强度，并产生有关这些构件在地震中的行为数据。

网格的未来

并不是只有科学家才为网格计算的潜力而激动。2000年以来，越来越多的公司在寻求网格技术的商业应用，其中包括Avaki、DataSynapse、Entropia、富士通、Hewlett Packard、IBM、NEC、Oracle、Platform、Sun和United Devices等。“效用计算”、“电子商务点播”、“全球计算”、“自主计算”和“企业网格”等名词，在市场文献和商业计划中出现得越来越频繁。

要理解这样一种日益高涨的兴趣，我们必须认识到操作计算机所带来的高昂成本和永无休止的挫折感。从本质上来说，对计算机的操作超越家庭手工业并不太多。我们都知道，用户要花太多的时间来安装、维护、排错、修理和升级他们各自的系统，而这些系统还不能很好地工作在一起。通过对生产和消费的去耦，网格计算有可能克服这些难题，进而使得专用功能模块和通用服务能成为真正的商品。

这一过程并非一帆风顺。为了实现网格计算这一美好的前景，我们还需要很多全新的技术。为了解决这些问题，网格技术着手开放网格服务结构的定义。这种系统结构集成了业界通行的Web技术和科学界所开创的一些网格技术

如何接入网格? 

要说明一个成熟的开放结构究竟能够做什么?还是让我们回到前面提到的那个探险旅游公司Scuba Tours吧。当一个客户要求在Cozumel进行虚拟潜水时怎么办?Scuba Tours首先为他建立一条宽带链接，确定他想要看的内容，然后将满足客户需求的责任转交给专业的虚拟现实服务提供商“计算机游戏公司”(Computer Games Corp)(顾名思义，该公司还支持多人参与的互联网游戏)。计算机游戏公司则根据用户的指令将相应的数据和软件组装起来，并向用户提供所要的视频流。为提交这些视频流，该公司的计算机将深入网格中去寻找最有吸引力的计算周期提供者，然后它安装这些软件使整个虚拟潜水得以进行。实际上，计算机游戏公司就是一个中间人，它集成来自不同源头的服务并形成按用户需求定制的能力。

虽然这些协商过程对于消费者来说应该是透明的，然而要实现这点绝非易事。计算机游戏公司的工程师必须预先建立能在多种计算机上运行的专门软件，他们还必须知道如何去估计并进一步定位所需的计算能力和网络容量。从这种意义上说，他们就像一名可靠的“中间人”，他们要完成计算服务的票据交换所的功能。一旦锁定了一个合适的候选者(例如Computers Inc)，两家公司之间就需要用一种通用语言进行直接联系，然后双方协商达成相互信任(“我不是一名黑客”和“我能够支付”以及“你是一家被认定的公司”之类)，并确定交易的各项条款(计算机数目、性能、费用等)。

一旦计算机游戏公司的工程师和Computers Inc协商好了对设备的接入，双方就要开始载入软件并管理虚拟潜水的过程。因为消费者有可能会游向一个意想不到的方向，这就增加了对计算能力的要求，有些计算机或者网络在此过程中也许还会出现故障。无论出现何种情况计算机游戏公司都必须投入额外的计算机或者降低仿真的逼真程度。

注意这些交互过程需要使用标准化的语言来描述、广告和查询源运营商的业务能力，还需要使用这些语言在可能的参与者之间建立会话。实体建立、使用记帐、支付管理等方面都必须建立一定的机制。今天Globus Toolkit中已经包含了能完成这些功能的软件，环球网格论坛的工作组正在制定更多的通用标准。

我个人预计，就像在其他产业中起到的作用一样，标准化工作能刺激计算服务方面的创新和竞争。利用一群台式机甚至家用电脑来形成可观的计算和存储资源是可行的。例如我们发现，Sloan数字空间勘察系统所利用的计算资源约有一半来自个名为Condor的系统所聚合的台式机系统。Data Synapse、Entropia、Platform和United Devices等公司都在利用网格协议接口接入台式机池以实现虚拟计算。

网格计算能否成功将取决于它能否获得广泛应用。克服这种经典的“第22条军规”的一种有效策略就是开放核心技术。因此，重要的不仅仅是要保证所有人都能免费获得关键的网格协议，同样重要的是这些协议必须存在开放的、简便的实施方法。Globus Toolkit就满足这些要求。进一步的发展则依赖于来自学术界和工业界的贡献以及经销商的商业支持；将网格的概念集成到商业软件之中和第三方培训也同样重要。

下一步是什么?

在相对友好的科学合作和企业内部网的界限之内，网格技术已经获得了成功。如今它已经向更广的应用范围扩展，这其中就包括那些纯粹的商业关系。标准化工作刺激了投资和创新。未来几年内，这些工作将奠定全球网格系统的基础。

如今网格研究者已经开始面对下一轮的挑战：我们该如何管理大型分布式的硬件设施，以保证存在失败的情况下能提供可靠的服务?我们如何才能使用户去利用可点播的资源和服务?在计算机数量和能力呈指数增长的同时，网格概念和技术该如何进一步发展?答案将会从研究和实用经验中得出，而且该答案必将用到自主、普遍和点对点计算等相关领域出现的创新思想【参见本刊2002年6月号的《全球计算机》一文】。所有这些规律，都将汇集到明天的运算环境之中。

【何毓嵩／译  曾少立／校】