一个虚拟化用户的纪实派报告

云计算 虚拟化
我所在的公司系一家大型国有航运集团下属的区域公司,成立于2003年。公司管理着东北区域内18家子公司、分公司和办事处。随着公司经营规模的不断扩大,公司的信息化建设也经历了一场跨越式的发展:从最初的几台服务器、几十台客户端小型网络,发展到今天的31台服务器、230多台客户端、连接东三省的中型网络。

点击查看大图

一、面临的问题

我所在的公司系一家大型国有航运集团下属的区域公司,成立于2003年。公司管理着东北区域内18家子公司、分公司和办事处。随着公司经营规模的不断扩大,公司的信息化建设也经历了一场跨越式的发展:从最初的几台服务器、几十台客户端小型网络,发展到今天的31台服务器、230多台客户端、连接东三省的中型网络。

公司自成立之日起,对于信息化建设非常重视,投入了大量的人力物力,仅服务器硬件购买成本,就高达100余万元。由于公司服务器购买时间比较集中,因此到2006年底,迎来了一个服务器报废的高峰。截至2006年12月16日,共有11台服务器需要进行报废处理。

按照通常的做法,自然是报废一台服务器购买一台新服务器。不过我们马上否决了这种做法:无他,“成本”而已。

这些服务器的硬件配置在今天看来并不高。配置最好的DELL PV755N,也不过是奔腾3 1.13G CPU/ 1GB 内存而已;其他服务器的基本上CPU主频从奔腾3 700到奔腾3 1.13G不等,内存都是512MB。在这个硬件配置情况下,我们的各项应用已经可以流畅运行。

如果购买新服务器,新服务器的硬件配置和性能要远远高于我们四五年前所购买的服务器,可能造成大马拉小车的投资浪费。而且,11套不同环境架构的应用系统全部更新,需要购买11台新服务器,一次性投入成本高昂,采购规模超过了公司的项目预算。

那么,是否可以通过应用整合,来减少服务器购买数量呢?经过仔细分析,我们发现了一件很尴尬的事情。公司成立时间虽然不长,但是业务发展十分迅猛,公司的业务系统和信息管理系统也几经换代。在这些服务器上运行的业务系统,大多数已经不再使用或很少使用,但是应商务、财务等部门的需求,而必须要保留下来,并将继续运行3~5年或者更长的时间。这些需要保留的业务系统,当初采用的开发技术不尽相同,有的业务应用系统又有特殊要求,在各自不同的操作系统上运行至今;如果采用传统的单服务器多应用系统平台整合,肯定无法达到预期目的。

既希望保持公司原有的基于Windows 2000或者Windows NT应用系统平台,又希望体会最新的硬件效果,在目前看来困难重重。

我们在解决方案和产品选型上遇到了双重难题。

#p#

二、选择技术解决方案

 

物理服务器硬件
 

VMware Infrastructure 3.0在多平台兼容方面表现优秀
 

Virtual Center管理服务器端软件可以方便直观地监控资源利用率

应用VMotion技术可以方便地进行数据迁移

以前的服务器面临过保报废,希望新购的服务器对于老旧的操作系统平台的支持又无法完美兼容。使用什么样的解决方案,才能够在体会新一代服务器硬件优越性能的同时,低成本高效率地满足多操作系统异构平台的应用整合,并实现原有操作系统和应用系统到新系统体系的平滑迁移呢?

在综合衡量物理实体机和虚拟机的技术解决方案以后,我们最终决定采用虚拟化技术来构建这个新的应用环境。什么是服务器虚拟化?不同的厂商有不同的定义,但其核心思想是一样的,即它是一种方法,能够通过区分资源的优先次序并随时随地能将服务器资源分配给最需要它们的工作负载来简化管理和提高效率,从而减少为单个工作负载峰值而储备的资源。(以上部分内容引用自代飒然的《趋于完整的服务器虚拟化技术在逐渐形成》)

虚拟化技术起源于大型机,通过服务器虚拟化,可以将一台物理服务器变成多台虚拟服务器,每个虚拟服务器可以运行自己独立的操作系统和应用,从而达到提高服务器资源使用效率,节约服务器管理成本的目的。

不过,服务器的虚拟化,在最大化服务器使用效率的同时,也带来了性能损耗。虚拟化的应用程序运行效率差异很大,有的能够做到接近原始物理环境下运行的效率,有的则低劣到终端用户所难以接受的程度。那些像大数据库系统或者微软的Exchange应用,需要占用大量的I/O和内存资源,并不适合实施虚拟化技术。

但是随着英特尔和AMD在处理器上对虚拟化提供了硬件支持,虚拟化技术在x86服务器上也有了更加光明的应用前景。

实际上,我们使用虚拟机产品进行技术学习和实验测试已经有很长一段时间了。我们最早使用的是VMWare Workstation 3.x版本。微软公司在2003年2月收购Connectix公司后,推出了VirtualPC2004。由于操作简便,并且是微软出品,感觉上对于微软自家产品的支持应该更好,所以转向了VPC。不过微软对于Linux系统的不支持态度,以及VMWare Workstation5.x版本方便的快照管理功能,使我们重新回到了VMWare的怀抱。

我们最初的倾向就是微软公司的Virtual Server 2005 R2。

微软Virtual Server 2005 R2是一款免费产品,在一台运行Windows Server 2003标准版的物理服务器上,最多可以同时运行4个微软的基于Windows Server 2003操作系统的虚拟机,而无需额外授权;软件授权成本优势巨大。

我们计划报废的服务器中,有10台服务器在运行微软公司的服务器产品。在微软自家的虚拟化平台上运行微软的操作系统,应该可以获得更好的稳定性和更佳的系统性能。

我们在一台DELL PE6650服务器(CPU至强2.7GHz×4/内存 4GB/硬盘73GB×2 RAID1 + 146GB×3 RAID5)上进行了测试。我们发现微软的Virtual Server 2005 R2是一款优点和缺点都同样鲜明的虚拟化产品。根据我们公司的实际情况,我们认为如下因素是我们放弃微软虚拟化解决方案的主要原因:

1.微软公司对于Virtual Server 2005 R2的集中管理,暂时还有一定的欠缺。微软公司计划在Microsoft System Center系列产品中提供Virtual Server 2005 R2的集中管理解决方案,但是该产品尚未正式上市。

2.Virtual Server 2005 R2缺乏高可用性解决方案。

3.Virtual Server 2005 R2无法提供多快照管理功能。

4.物理机到虚拟机的迁移步骤略显烦琐。

虽然我们很遗憾地放弃了微软公司的虚拟化产品,但是Virtual Server 2005 R2巨大的成本优势是我们无法忽略的。我们计划在今后公司部署基于Windows Server 2003操作系统的非关键性应用上,继续采用微软公司的虚拟化产品,并同时期待微软公司能够尽快解决在虚拟化技术解决方案中的欠缺之处。

接下来,我们对VMWare公司的虚拟化产品进行了考察和评估,决定选用VMWare公司的产品来实施公司的应用系统整合。

VMware Infrastructure 3.0是VMWare公司在2006年6月发布的最高端企业产品,VMware Infrastructure 3.0套装软件整合了Virtual Center 2管理工具、ESX Server3产品,VMFS分散档案系统软件,以及全新的 Distributed Resource Scheduler、High Availability和Consolidated Backup 等。在整个服务器的底层硬件、AS/OS和后台存储技术上都有了更大的突破。

经过考察对比,我们决定选用VMWare公司的VMware Infrastructure 3.0套件作为公司虚拟化技术的解决方案。

VMware Infrastructure 3.0产品所具备的下面几个特性是我们真正看重的:

1.应用整合与多平台并存

通过ESX,我们得以将对于硬件资源负荷要求并不算高的多平台应用整合到一***立的物理机内部,通过划分CPU、内存、存储以及I/O资源池的方式,最大限度地保证应用程序利用到全部的硬件资源。我们以往在同一物理平台上实现多操作系统是一件相当复杂的事情,操作系统是否能够安装将依赖于硬件平台的兼容性。而现在,VMWare ESX能够广泛的支持Windows服务器平台以及Linux平台,这里包含DELL 9G服务器无法正常安装的Windows NT,以及我们公司正在使用的Windoss 2000 SP1。

2.VMotion-实时迁移技术

应用VMotion技术,我们可以将应用从一台物理机迁移到另外一台物理服务器上,而时间只需要2秒钟。也就是说,建立起两台物理机以后,通过布署相同平台的虚拟机环境,我们的应用层基于虚拟机来实现,而数据存储依靠两台物理机之间的共享存储来实现。只要物理服务器不宕机,那么我们的应用将会是无间断的流畅运行。而应对物理服务器宕机的另一手段是HA功能模块。

3.DRS-动态平衡和分配

对于采用虚拟化技术,在一台物理服务器上整合多个公司业务应用,我们最担心的就是多个业务系统之间性能分配的问题。安装在Virtual Center管理服务器端的分布式资源调度程序,可以跨资源池不间断的监控资源利用率。在多个资源池之间动态的分配可用资源。当DRS所监控的某一个虚拟机负载较大的时候,DRS将在所管理的物理机上寻找合适的虚拟机做应用间的迁移。也正是因为DRS的监控和平衡负载机制,让我们可以放心的布署虚拟机应用,和对硬件资源做到完全透明的监控。

#p#

三、选择硬件解决方案

俗话说:好马拉好车。

有了VMWare虚拟化技术解决方案这样一架好车,如何选定一匹经济适用、马力强劲的良驹来拉动这架好车,就是我们接下来需要考虑的问题了。

我们对服务器的基本要求是:

1.硬件采购成本不能太高;

2.CPU运算能力强;

3.内存容量充足;

4. 服务器内存和硬盘的I/O吞吐性能良好。

由于我们公司一直采用DELL的企业级服务器产品,有着良好客户体验,因此本次应用整合自然继续选用DELL的服务器产品。我们首先排除了DELL的Power Edge 68X0系列企业级服务器;虽然PE68X0系列服务器可以提供更强大的计算能力和更高的I/O吞吐量,同样高昂的价格也令人望而却步。DELL的PE 19X0系列服务器虽然售价低廉,但是扩展能力有限,服务器性能也无法满足同时运行多台虚拟服务器的要求。这样,我们将目光对准了DELL的PE 29X0系列服务器——Power Edge 2950。

DELL PE2950服务器在2U机箱内可以提供多达6个3.5英寸 SATA II硬盘驱动器。处理器方面我们采用了期盼已久的新一代Intel XEON平台Clovertown四核处理器,这款处理器基于Intel最新的酷睿2架构体系,在PE2950这款两路两U的平台上提供了多达8颗物理内核的运算能力,在处理多任务并发的应用环境下,能够在相同的空间密度内提供更丰富的CPU处理资源,特别对于VMware这样的资源池划分环境,更密集的处理器处理能力将能够负担更多的虚拟机应用需求。尤为引人注目的是,Intel XEON平台Clovertown四核处理器能够在芯片级别上通过Intel VT技术直接支持VMWare公司的虚拟化产品,大大提高了虚拟机的CPU性能。所以,在我们已经敲定的服务器平台上选择Intel最新的四核处理器是不二的选择。

在虚拟机对于硬件要求颇高的I/0环节,PE2950支持最高达32GB全缓冲DIMM内存;6个内存通道,每通道支持8GB/Sec的内存带宽,内存的优势在虚拟机平台环境下获得了最大程度的发挥。

通过PE2950内部集成256MB Cache的PERC5i磁盘阵列控制器,5块硬盘组合成的RAID5阵列,可以兼顾足够的磁盘吞吐能力和安全性能。磁盘性能方面,DELL的9代服务器由于采用的是串型附加SCSI存储,性能比较上一代SCSI存储能力提升巨大。

四、方案定型

最后,我们计划公司虚拟化技术解决方案分两期执行。第一期购买2台四核的DELL PE2950服务器(双CPU/8GB FBD内存/5块15000转的SAS硬盘),以及2套VMWare VEN 3.0.1,1套VMware P2V Assistant2.1物理系统迁移软件。

根据第一期方案具体实施情况,经过二次评估后,再适时采购1台MD3000 DAS存储设备作为存储共享设备,以及1套Virtual Center2.0管理软件,拓展VMWare VEN3.0.1产品的功能,进一步提升虚拟化技术解决方案的应用价值。

#p#

五、方案评估和测试


VMWare VEN 3.0.1,1和VMware P2V Assistant2.1成为了最终选定的软件


 
在安装VMWare Server 1.0.1时我们推荐默认安装方式

 


在系统迁移过程中VMware P2V Assistant 2.1.2安装简单


 
在迁移系统中,各软件版本间的兼容性是个大问题

 
捕获实体物理系统的虚拟镜像出乎意料的简单


 
将虚拟镜像导入VMWare需要用VMWare Server 1.0.1做一下中转站

2006年11月底,我们从DELL公司购买的两台DELL PE2950服务器到货。随后我们从VMWare公司官方网站下载了VMWare VEM 3.0.1和VMWare Virtual Center2.0、VMware P2V Assistant,并且申请了180天的测试序列号。我们还下载了免费的VMWare Server 1.0.1和VMware Virtual Machine Importer 2.0,作为系统迁移中转使用。

方案评估和测试过程如下:

1.安装VMWare VEM 3.0.1

VMWare VEM3.0.1经过了DELL PE2950服务器的硬件兼容性认证,在PE2950服务器上的安装过程非常顺利。我们只需要简单地按照安装向导的指示,一路下一步就可以了。采用系统默认方式安装,VMWare VEM3.0.1会自动将剩余硬盘空间划分为一个大的VMFS文件系统分区,这样就无法采用硬盘直接读写的方式安装多台虚拟机了,对于虚拟机的的磁盘子系统性能,会有一定的影响。既然是方案评估,我们还是偷点懒好了。系统安装完成约需30分钟。

2.安装VMWare Server 1.0.1

我们计划使用公司现有的一台DELL PV775N的NAS服务器(外节一台DELL PV220S磁盘阵列柜,拥有1.3T存储空间)存放从物理实体机迁移的VMHD镜像文件。为了简化系统迁移的步骤,我们将MWare Server 1.0.1安装在这台NAS服务器上。

软件的安装过程很简单,全部采用默认方式进行安装。安装过程中需要的输入软件许可序列号,这个序列号可以从VMWare公司的官方网站上免费申请。

3.安装VMware P2V Assistant 2.1.2

为了简化系统迁移的步骤,我们同样将VMware P2V Assistant 2.1.2安装在DELL PV775N NAS服务器上。

软件的安装过程很简单,全部采用默认方式进行安装即可。

4.安装VMware Virtual Machine Importer 2.0

VMware Virtual Machine Importer 2.0是一款虚拟系统迁移和转换工具,它在VMWare公司的虚拟化技术解决方案中,起着承上启下的作用。它能够帮助用户在VMWare公司的多个虚拟化产品之间进行虚拟系统的迁移,还能够导入Symantec公司的Symantec LiveState 和Ghost 9,以及微软的Virtual PC和Virtual Server 2005 R2生成的镜像文件。

软件按照默认方式安装即可。

需要注意的是,VMware Virtual Machine Importer 2.0要求宿主系统环境中不能有VMWare公司的其他产品,并且仅能兼容从Windows NT4.0到Windows Server 2003操作系统的迁移,对于Linux操作系统和64位Windows操作系统,以及早于Windows 3.x的微软操作系统,无法完全支持。此外,VMware Virtual Machine Importer 2.0迁移虚拟系统的时候,还需要考虑宿主操作系统是否支持。譬如说,迁移Windows Server 2003操作系统,则要求VMware Virtual Machine Importer 2.0安装的宿主操作系统至少是WindowsXP或者Windows Server 2003。在评估测试中,考虑到我们需要迁移的应用系统都是基于Windows Server 2000操作系统的,因此我们将VMware Virtual Machine Importer 2.0安装在一台Windows Server 2000操作系统的服务器上。

5.捕获实体物理系统的虚拟镜像

这个步骤竟然出乎意料地简便易行!首先通过查询硬件兼容列表确认源系统服务器硬件是否在支持之列,然后使用VMware P2V Assistant BootCD启动源系统服务器。VMware P2V Assistant BootCD上是一个可以在光盘上运行的名为Knoppix的小型Linux系统,它会检测源系统服务器的硬盘和网卡,然后需要用户确定是否使用SAN光纤存储真了,检测的硬盘和网卡是否正确,是否使用使用DHCP自动获得IP。完成这些步骤后,就可以在DELL PV775N Nas服务器上运行VMware P2V Assistant 2.1.2,选择克隆源物理系统,并输入在源物理服务器上指定的IP地址,制定一个虚拟镜像系统VMHD文件存放的路径,就可以了。捕获结束后,可以到C:\Documents and Settings\UserName$\Local Settings\Temp目录下查看捕获日志。

我们选取了具有典型意义的两台服务器进行捕获测试:分别是一台运行于DELL PE 1550机架式服务器的小应用系统,和一台运行于DELL PE SC420塔式服务器的老业务系统。在评估测试中,我们发现VMWare公司的P2V Assistant在捕获物理实体机上还存在一些不足,主要有三点:对于个别长文件名无法完全处理,无法捕获转化为动态磁盘的硬盘,不能调整硬盘容量。

6.重配置捕获的系统虚拟镜像

我们捕获的物理实体机的虚拟镜像文件还需要针对VMWare Server进行一次硬件重配置操作,否则直接使用这个虚拟镜像是无法正常启动系统的。这一步使用VMware P2V Assistant 2.1.2,按照向导进行操作,很快就可以完成了。

7.导入系统虚拟镜像文件到VMWare VEM 3.0.1

由于VMWare公司目前并未提供一种直接将捕获并重配置好的虚拟镜像文件导入VMWare VEM 3.0.1的解决方案,我们只好用VMWare Server来充当一次中转站了。接下来我们需要在VMWare Server 1.0.1中,使用重配置的虚拟镜像文件,以定制的方式创建一个新的虚拟机,并且至少启动一次,然后就可以使用VMware Virtual Machine Importer 2.0将捕获的系统虚拟镜像从VMWare Server 1.0.1导入到VMWare VEM 3.0.1里面了。在系统导入过程中,需要关闭在VMWare Server中运行的源虚拟系统,并且将源虚拟系统的存放目录映射为本地目录。虚拟系统导入的速度主要取决于网络带宽。

8.简单性能评测

应该说,我们始终对于业务系统迁移到虚拟环境后的应用性能心存疑虑。虽然一些相关评测文章对于虚拟环境中的应用性能测试都有一个比较正面的评价,但是只有亲自动手进行测试,才能彻底打消我们的疑虑。

由于条件限制,我们无法进行正规的服务器性能压力测试,只能因陋就简,对服务器的几项主要性能进行一个简单的性能对比测试。我们设计了一个评测方案,使用知名的系统测试软件SiSoftware Sandra Engineer XI 2007.1.11.17来进行CPU、内存、文件系统的性能测试。

测试结果表明,迁移后虚拟机系统的主要性能指标,已经全面超过了原有实体物理系统的性能指标。当然,我们也注意到,在文件系统的测试中,虚拟系统的CPU占用率约为10%,比实体物理系统的3%高出7%。我们认为,这也证明如果不能解决好系统I/O虚拟化的问题,虚拟系统就无法真正完全地替代实体物理系统。不过我们相信,随着技术的进步,这一天已经不远了。

9.评估总结

经过长达8个月的系统选型、评估、测试,我们确认,硬件和软件上的技术进步,无论在理论上还是在实际上,都足以弥补大部分非大量I/O需求的应用系统虚拟化后所带来的性能损失;而应用虚拟化所带来的好处,又远远让人无法拒绝。在公司内部实施基于虚拟化技术的应用整合方案,势在必行!

#p#

六、项目实施

新系统结构示意图

有了之前项目评估和测试的经验,项目的具体实施就是水到渠成了。我们平均每周迁移2套老应用到虚拟系统上,然后进行1周的观察,如果未发生异常情况,则可以确定系统迁移成功。

全部系统的迁移预期在2个月内完成。

七、总结

通过部署服务器虚拟化系统,我们获得了相当多的收获。

1.降低了服务器的硬件采购成本

2006年度共有11台服务器报废,我们实际新采购服务器3台,其中两台DELL PE2950服务器作为虚拟化应用整合平台,1台DELL PE1950服务器作为公司第二台主域服务器。三台服务器的购买费用是人民币15万元。这样我们为公司少购买了8台服务器。按照每台服务器5万元人民币(含OEM版操作系统)的均价采购成本,共为公司节约40万元人民币的硬件采购成本。考虑到购买VMWare虚拟化软件的10万元采购成本,实际为公司节约采购成本人民币30万元。

2.降低了系统管理成本

我们停用原来的9台服务器后,每年节约的各项服务器管理成本,也是一笔不小的数字。

3.节约了软件许可费用

微软等软件企业在虚拟化平台上新的软件许可政策,为我们节省了很多软件采购成本。

4.提高了业务系统的服务器可用性

由于虚拟系统的硬件平台无关性,我们还大大提高了业务系统的服务可用性。在实施虚拟化技术之前,如果服务器发生硬件故障,通常要停用1~2天的时间,来进行硬件更换。我们这里有记录的服务器因硬件损坏停用最长时间是11天!而现在,如果运行虚拟系统的服务器发生硬件故障,我们只需要将备份好的虚拟服务器的配置文件和虚拟硬盘镜像文件还原到新的服务器上,并恢复最近一次数据备份,就可以恢复业务系统的正常使用。这个时间,通常在是4个小时以内的。未来,我们还将通过部署DELL MD3000 DAS高可靠性存储设备和VMWare Virtual Center软件,使用VMWare VMotion功能,把这个时间缩减到几秒钟!

5.提高了老业务系统的系统性能

在系统整体迁移完成后,经过实际测试,所有迁移到虚拟系统的业务应用性能,较迁移之前,都有了一定程度的提高。所以说,硬件技术上的进步,已经能够在一定程度上弥补虚拟化技术带来的应用系统性能损耗。

6.降低系统开发部署成本

VMware Virtual Enterprise产品在快照管理方面的强大功能,还大大缩短了我们在新应用系统开发和部署实施之前的测试时间。由于一项误操作,就需要花费1整天的时间来重建系统的日子,已经一去不复返了。

八、展望

事实上,虚拟化技术在x86服务器上的应用也面临很多实际挑战,例如物理机到虚拟机的系统迁移解决方案尚需加强,Intel与AMD目前还仅仅是提供了处理器级别的虚拟化支持,服务器作为一个整体,在I/O方面的虚拟化应该如何实现,服务器虚拟化的未来的发展趋势如何,虚拟化产品的统一标准尚未建立,应当如何管理虚拟机,如何规避虚拟化带来的风险,等等,都是我们需要慎重考虑的问题,

无论如何,服务器虚拟化技术带来的好处,已经点燃了我们的激情!我们期待在DELL公司所带来的优异企业级服务器平台和VMWARE的虚拟化先驱技术的引领下,将公司的IT建设带到一个全新的高度。

九、后记

很凑巧,在我们公司实施系统虚拟化迁移整合期间,我还协助本市另外一家大型国企,使用免费的VMWare Server,在未给企业增加任何额外版权支出的情况下,顺利完成了老主域系统到新购服务器的迁移。

2006年公司对于虚拟化技术的评估和成功应用,不但点燃了公司对于虚拟化技术的激情,也同样点燃了我的激情,我已经很久没有如此激动了!

整篇文章,仅用了一天的时间,几乎是一气呵成。面对如此优越的技术和应用体系,我有一种深深的责任感,我要通过自己的努力,把虚拟化技术的火炬,传递给更多人。企业用户,你完全可以放心大胆地投入到虚拟化技术的大潮中!

责任编辑:张存 来源: 中计报
相关推荐

2009-10-16 12:06:15

VMware虚拟化项目

2013-12-10 13:33:20

桌面虚拟化

2019-03-23 19:33:14

树莓派Linux操作系统

2017-02-05 18:00:01

Linux虚拟内存统计工具

2017-06-03 15:43:54

数据项目框架

2012-08-24 15:13:34

2021-03-17 10:16:39

树莓派音乐系统Linux

2016-05-23 09:38:25

2018-05-25 08:44:22

树莓派PythonMySQL

2017-01-04 16:12:23

Kano模型赫茨伯格用户需求

2022-11-29 17:34:43

虚拟形象系统

2011-04-27 10:02:54

兼容墨盒用户体验

2009-11-02 15:15:43

Oracle授予用户权

2013-09-23 16:28:32

LinuxUbuntuUbuntu 12.1

2022-06-19 20:48:06

树莓派Linux

2020-04-22 18:17:01

树莓派SD卡镜像Linux

2012-04-18 09:22:40

Chrome for

2015-08-27 10:19:04

2009-07-23 11:47:02

2009-07-07 08:56:07

虚拟化
点赞
收藏

51CTO技术栈公众号