文章分类 | 推荐文章 | 最新文章 | 热点文章 | 最新软件 | 精品软件 | 下载排行 | 推荐下载 | 免费看大片 | WPS | 杀毒软件
清风网络
首 页 软件下载 网络学院 数码学院
QQ 电脑入门 游戏 操作系统 图形处理 办公软件 媒体动画 精文荟萃 工具软件 网络编程 程序开发 网络技术 认证考试 网站建设 文章专栏
当前位置:清风网络学院网络技术存储备份面对存储灾难 你准备好了吗?
精品推荐
特别推荐
·存储经验:VERITAS NetBackup 安装指导文档
·解析不同存储环境下数据保护策略
·正确理解什么是数据库恢复?
·数据恢复案例:ghost成大c故障
·如何测试光盘的质量?
·NTFS格式大硬盘数据恢复特殊案例
·DVD之蓝色接班人
·DVD刻录机技术导购指南
·DVD-SuperMulti——给我一个理由!
·菲议存储:实现 iSCSI Initiator 的两种方法
·主流DDR内存芯片与编号识别
·NetApp帮助亚瑟王统一大不列颠:从特技制作谈存储
·日立TagmaStore通用存储平台与AOS解决方案FAQ
·DVD刻录机选购之我见
·扩展手机存储器方案之争在闪存卡与SIM卡之间展开
·浅谈服务器的RAID技术
·RAID原理
·浪潮存储解决方案---备份解决方案
热点TOP10
·高手进阶,终极内存技术指南——完整/进阶版
·主流DDR内存芯片与编号识别
·菲议存储:实现 iSCSI Initiator 的两种方法
·MBMS-移动网络中的广播(组播)电视业务
·未来光存储技术的发展路线图
·光大祖业 奉子成婚——SAS与SATA-Ⅱ
·RAID原理
·存储入门基础:HP-UX安全加固使用手册
·存储经验:VERITAS NetBackup 安装指导文档
·Coinstor:四川省都江堰房产管理局备份成功案例
·RAID0、RAID1、RAID0+1、RAID5原理介绍
·DVD刻录之三国演义
·眩!PLEXTOR顶极机型——PX-716 详细介绍
·案例分析:银行存储升级 容量、安全一项也不能少
·技术对决 NOR闪存Vs NAND闪存
·什么是NVRAM?
·NetApp的“信息生命周期管理”解决方案
·SPARC王朝回归?Sun UltraSPARC T1规格初探
·南京方腾科技有限公司
·如何测试光盘的质量?

面对存储灾难 你准备好了吗?

日期:2007年5月7日 作者: 查看:[大字体 中字体 小字体]


为容灾(DR)做好准备

为可能发生的灾难做好充足的准备已经成为存储实施过程中所必须考虑的一个重要的环节了。毫无疑问,这一过程已经成为最具挑战性的任务之一。因为它不仅包含了各种硬件,软件以及相关的网络设备。而且重要的是必须能够通过各种情况下的测试,来保证在灾难真的发生时,数据能够及时地得到恢复。

在你下决心实施容灾前,首先有四个问题应该明确一下:

  • 在灾难发生后的多长时间内我必须保证数据得到恢复。

  • 每天要存取多少数据。

  • 数据中心与灾难恢复设备之间的距离。

  • 现在我是如何应用我的数据的,分层存储管理(HSM,Hierarchical Storage Management)还是备份。

以上这些问题将帮助你确定容灾所需的设备和投资。同时你也需要考虑你现在所使用的主机系统、应用软件和RAID硬件。事实上,一套完整的灾难恢复系统是十分昂贵的;你需要购买硬件、软件,并且还要培训专门的人员来管理维护整个系统。

数据复制是最大的问题。因为有两种类型的数据(记录在磁盘上的和记录于磁带上的),它们各有各的特点。所以在这篇文章里,我们将首先讨论关于基于磁盘的数据灾难的恢复,然后在探讨HSM数据的远程复制。

任何人想要实施容灾都必须进行数据复制。在大约十年前,数据的复制通常都通过sneaker net(编者注:用户从这里把文件复制到磁盘上,拿着磁盘到另一台计算机(这就是sneaker的意思)然后再把文件复制到该计算机的一种网络)来实现。在这些年中,网络得到了飞速地发展,在性能和速度大大提高的同时,成本也降低了很多。再加上相关软件的发展都为网络带来了更大的发展空间。这就使得RAID与主机之间的距离得到了延伸。
数据复制主要有两个主要问题:首先是其中一方数据的复制方法,通常有基于主机的复制和基于存储设备的镜像两种技术。其次是如何将数据传输到另一方。是通过WAN和IP还是通过暗光纤(Dark Fiber)和光纤通道(Fibre Channel).来连接。

我们必须要综合考虑以上这些产品和技术。因为一旦中途更改灾难恢复的计划和方法是非常麻烦的,同时肯定也是不便宜的。

复制

数据复制的两种最基本的方法为:基于主机的镜像和基于RAID的镜像。

当然,每种方法都有其自身的优点和缺点。当我们讨论任何一种镜像问题时,主要探讨的都是其是否为同步传输或异步传输,以及它的延迟问题。我经常引用著名计算机专家John Mashey的一句话“钱可以买来带宽,但延迟是永恒的。”

基于主机的镜像

许多软件产品都拥有从主机上镜像数据的功能。通常这种方法的配置和管理都是简单易行的。但是它的缺点是会占用主机资源,如CPU,内存还有I/O带宽。还有你必须为每一台需要镜像数据的主机都安装一套软件。但最让我关注的是这种方法的延迟问题。

如果按设备I/O的方式分的话,可以分为两种:

  1. 同步传输——在数据到达RAID或磁盘之前,控制命令不会返回到应用程序。所以直到一个SCSI确认完成以后,才可以发送下一条I/O请求。

  2. 异步传输——只要I/O请求发送到操作系统,控制命令就返回到应用程序。

即使你使用异步传输镜像,如果你要进行大量的I/O通信,你就必须确保你有足够的带宽来完成镜像。并且你还要记住,充足的带宽不是唯一的条件。如果你进行同步传输镜像,你还必须计算好应用程序的预计延迟和传输速度的减慢。

在同步传输中还分为两种I/O类型:

  1. 当I/O到达其他RAID时,主机才收到回复

  2. 当I/O到达自身磁盘时,主机就收到回复

虽然对于第二种方法,现在看来有些保守。但它对于避免数据丢失这方面是强于第一种方法的。我发现基于主机的镜像经常与低端的RAID控制器一同使用。

成功地实施基于主机的镜像的关键是清楚主机中有多少数据需要复制以及数据什么时候开始写入。制作一张24小时数据流量的统计表格是帮助确定所需总带宽的好方法。如果在每天人们开始工作的时候,大部分数据已经完成复制写入的工作,而在大家下班后,你就可以继续运行基于主机的数据复制工作了。因为这时主机不再需要运行除复制以外的应用了。另一方面,如果需要传输数据的总量有限,总带宽充足的话,可以进行全天的恒负载传输。

基于RAID的镜像

现在的主流RAID硬件厂商(EMC, HDS, IBM, LSI等)所提供的应用软件几乎都提供了远程数据复制功能。这里的所谓远程可能是10km,也可能是10000km。当然,同时你还需购买相应的硬件和增加足够的带宽。

无论如何选择,延迟问题依然会存在。所有基于RAID的镜像也都存在是同步传输还是异步传输的问题。IT主管们必须决定使用何种I/O方式。

除此以外,你还应确定一些关于Cache使用中的可调选项:

  • 有多少Cache将被用于镜像?

  • 数据在被写入磁盘之前要在Cache中保存多久?

  • 如何再写入另一个Cache?

以上这些可调参数能够对整个系统的性能和网络的使用产生很大的影响。

传输

一旦你确定了选用何种数据复制的方法,那么下一步你就要决定如何来传输你的数据了。是通过WAN和IP,还是暗光纤(Dark Fiber)和光纤通道(Fibre Channel)。

暗光纤(Dark Fiber)

大多数使用暗光纤(Dark Fiber)的镜像方案中,主机端和镜像端都是使用FC(光纤通道)来连接RAID控制器和FC交换机的。这样做的原因是FC(光纤通道)的缓冲区信用数(Buffer Credits)需要确定整个通道是否在高效率地运行,以及交换机是否有更多的缓冲区信用数(Buffer Credits)。假设在FC层中理想的延迟情况下,如果你想铺设50km 2Gb的光纤通道并保证能够满负荷正常运转地话,那么大约需要120个缓冲区信用数(Buffer Credits)。当然,具体数量还要参考你的FC网络的实际延迟情况而定。大多数FC交换机厂商为交换机的每个端口最多只提供了256个缓冲区信用数(Buffer Credits)。这对于想要在更远的距离外进行镜像的用户来讲确实是个难题。不过有些厂商(如Celion)还是提供个单端口数千个缓冲区信用数(Buffer Credits)的产品,这样就可实现超远距离(超过3000km)的高质量数据传输了。

所以如果你想选择使用暗光纤(Dark Fiber)的话,那么你首先应该确定你的硬件是否能够满足所需的距离要求。其实,使用暗光纤(Dark Fiber)或SCSI组建的FC(光纤通道)的最大好处是在传输数据时不用进行协议转换。你可以在它上面运行那些RAID上所运行的本地协议,而不用顾及协议转换所造成的延迟和所增加的成本。

TCP/IP

事实上,TCP/IP的硬件连接与暗光纤相似,只是在两边终端的接口上增加了FC到IP的转换器。这样远距离的数据传输方式就由FC换成了IP。这样做的最大好处是这些转换器能够实现数据压缩功能。而这点却是FC所无法做到的。一些大型WAN路由器支持加密,这个功能在很多环境中是必需的。

面对存储灾难 你准备好了吗?

网络中尴尬的摩尔定律

现在有两点因素正在使得复制变得越来越困难:

  • 网络性能的发展没能跟上CPU的发展速度,而且这些CPU正在产生越来越多的数据。

  • 网络性能的发展也没有跟上磁盘密度的发展速度。

现在,每个人都在谈论10GB网络连接,但是到现在我还没有见到一个拥有10GB速度的网络。根据摩尔定律,我们还将创造更多的数据到更大的磁盘上来,而我们只能将它们“托付”于2GB的FC。

我记得从2000年九月,第一块2GB的FC卡正式与我们见面开始。到如今FC磁盘的容量已经从36GB增长到了现在的300GB,而“2GB”依然没有改变。正如你所看见的,这样的数字对比是不正常的。

HSM(分层存储管理)

如今,我们对HSM(分层存储管理)软件的使用已经变得越来越普遍了。这主要是由于相比普通的备份恢复软件,HSM更适用于大型的存储环境。

通过使用HSM,原本只有10TB容量的物理磁盘在文件系统看来可能拥有1PB的容量。而多出的数据将被存储在能够进行数据压缩的磁带上。如果是高端磁带产品的话,那它的可靠性还要高于磁盘。

如果你正在考虑使用HSM软件的话,那么有两个重要问题你应该考虑:

  1. 你如何将数据从主机端传输到灾难恢复端?

  2. 你如何将保存的数据转移到新的媒介或系统上?

如果你想用RAID—RAID的方式复制数据,那就无法使用HSM。因为你没有另一端的主机来控制RAID或磁带上的文件系统。HSM软件的应用需要有主机来运行HSM文件系统。

几乎每一款HSM都有一种或几种数据复制到另一端的方法。主要有以下几种方法:

  1. 当磁带正在写入数据时,新的数据将被转移到另外的系统和RAID上。等磁带系统空闲时,再将数据从刚才的系统中移动回来。

  2. 直接将数据转移到另外的系统上,直接将其写入磁带。(没有磁盘转移)

  3. 使用扩展网络通道,将数据写入远程的磁带系统中。

将数据移动到RAID

将数据移动到远程系统的RAID上的过程通常就想是在本地发生的HSM过程。这个数据移动的过程通常都是通过TCP/IP网络来进行的。

在大多数产品中,一旦某个文件正准备或已经被存放到磁带上,那么这个文件的拷贝将通过TCP/IP网络被写入到远程的系统中。此时,远程系统上的HSM将接管这一过程。

如果你非常重视安全问题的话,你也许会想着在数据的传输过程中为它加上各种的加密算法。可能你以前所使用的加密方法都是在WAN中的路由器上实现的。但是,现在你是不是也想在主机端通过HSM软件来实现加密呢。如果是的话,你首先应该确定你主机的CPU是否拥有足够的实力来完成这一艰巨的任务。如果到时候真的因为加密而影响正常的网络速度的话,我可一点都不会感到惊奇。

数据移动到远程磁带系统上

有些HSM产品能够将数据转移到远程系统上的磁带或虚拟磁带系统上。实际上,那些支持向虚拟磁带上转移数据的产品要远远好于只能用于磁带的产品。向虚拟磁带传输数据和向那些内嵌有HSM软件(用于管理磁带的Cache)的磁带系统传输数据之间并没有太多的不同。虚拟的概念在大型主机领域内已经存在了很长时间。如今应用于磁带领域。应该注意的是在你选择虚拟磁带产品的时候应该尽可能地使用高可靠性的RAID硬件,以确保在转移到磁带之前文件能够得到很好地保护。

因技术升级而产生的数据转移

现在已经完成了远程的数据备份,那么下面我们将可能面对就是如何把数据转移到升级后平台上。

几年前,我的一位客户问我如何能使数据保存50年。当时我们研究了包括MO技术、光学玻璃磁盘、磁带在内的当时所有存储介质。最后所得出的结论是:这不光是选择什么存储介质的问题。问题的答案应该是:包括磁带驱动器、硬件接口、HSM软件和各种相关的应用软件在内的一整套方案。

最好的例子就是七磁轨磁带(Seven-Track Tapes)了。这种存储介质至少能保存30年的数据。而这种磁带的驱动器也有超过30年的历史了,以至于现在想要找到一台都是十分困难的了。如果你现在还拥有完好的七磁轨磁带,并且想读取上面的数据的话,你就必须还要找到与之配套的驱动器、硬件接口、软件驱动以及应用软件。而这些在今天看来几乎是不太可能实现了。所以说即使是再完好的七磁轨磁带也只有纪念意义而已。

另一个例子是MS Word 1.0。记忆中那好像是1983年的产品?不过你认为现在的MS Word XP 或者 MS Word 2000是否能够读取1983年的MS Word 1.0文档吗?据说Adobe PDF文档可以使用30年甚至更久。但是我还是发现很多公司现在已经将PDF换成了TIFF文档。不过我个人还是更情愿使用JPEG2000来替代TIFF。

我们的问题被扩大化了。应用软件、文件系统、HSM软件、计算机、驱动程序、接口、磁带驱动器、磁带以及那些需要被转移的数据都成为企业级存储所需面对的问题。

整个系统的每一个方面迟早都要面临升级,以保证已经保存的数据的可用性。当然,这对于大型的HSM系统来讲是十分昂贵的,并且还会有很多数据可能无法再使用。所以现在就应该认识到哪些是重要的哪些不是,转移那些并不重要的数据是没有必要的。

QQread.com 推出Windows2003教程 win2003安装介绍 win2003网络优化 win2003使用技巧 win2003系统故障 服务器配置 专家答疑


[1] [2] 下一页 




上一篇:日立TagmaStore通用存储平台与AOS解决方案FAQ

下一篇:EMC:为安莉芳(中国)服装公司构建ERP存储系统

面对存储灾难 你准备好了吗? 相关文章:
·asp.net(C#)海量数据表高效率分页算法(易懂,不使用存储过程)
·将Excel中存储为文本的日期转换为日期格式
·菲议存储:实现 iSCSI Initiator 的两种方法
·SQL IF..ELSE..在存储过程的使用规范
·Sql server存储过程和C#分页类简化你的代码
·巧用搜狗输入法 面对特殊字符不再犯愁
·ASP.NET结合存储过程写的通用搜索分页程序
·学习SQL SERVER的存储过程-之一认识存储过程语法
·微软新成果:为懒人准备的抠图技术
·未来光存储技术的发展路线图
面对存储灾难 你准备好了吗? 相关软件:
·当我们坦然面对死亡的时候-老山19周年祭
·李阳疯狂英语脱口而出-准备篇
·世纪大灾难
·足尖上的艺术 百家讲坛__面对缪斯女神 欧建平
·DB2 认证准备教程(3)
·DB2 认证准备教程(2)
·JSP行前准备
·经济学人2006年全集 pdf 为考研准备!
·DB2 认证准备教程(1)
·经济学人2005年全集 pdf 为考研准备!

特别声明:本站除部分特别声明禁止转载的专稿外的其他文章可以自由转载,但请务必注明出处和原始作者。文章版权归文章原始作者所有。对于被本站转载文章的个人和网站,我们表示深深的谢意。如果本站转载的文章有版权问题请联系编辑人员,我们尽快予以更正。
[打印本页] [关闭窗口] 转载请注明来源:http://www.viphot.com
| 帮助(?) | 版权声明 | 友情连接 | 关于我们 | 信息发布
Copyright 2007 www.viphot.com All Rights Reserved. 鄂ICP备05000083号Powered by:viphot