计算机毕业论文

智能网络存储

时间:2022-10-05 22:02:49 计算机毕业论文 我要投稿
  • 相关推荐

智能网络存储

  智能网络存储【1】

  摘要:网络存储为我们解决了数据存储与共享的问题,它在结构上清晰、简洁,可扩展性强,不仅提高了带宽,又增加了安全保障。

  它可广泛应用于大规模视频处理、INTERNET信息发布、数字资料库等海量数据存储领域。

  关键词:网络存储 SAN MAS NAS服务器

  计算机网络无疑是当今世界最为激动人心的高新技术之一。

  它的出现和快速的发展,尤其是Intenet(国际互联网,简称因特网)的日益推进和迅猛发展,为全人类建构起一个快捷、便利的虚拟世界。

  一、概述

  目前,数字视音频网络的数据网络的大量应用成为电视行业发展的必然趋势,这就要求提供更大、更快、更有力的网络数据存储和共享途径。

  网络存储技术无疑为我们提供了一个很好的选择。

  二、网络存储技术的分类

  目前的网络存储技术大致分为三类:1.直接依附存储系统(Di-reect Attached Storage)DAS)DAS又称为以服务器为中心的存储体系,如图一所示,其特征为存储设备为通用服务器的一部分,该服务器同时提供应用程序的运行,即数据访问操作系统、文件系统和服务有程序紧密相关。

  当用户数据增加或服务器正在提供服务时,其响应速度会变慢。

  在网络带宽足够的情况下,服务器本身成数据输入输出的瓶颈。

  现在已渐渐不能满足用户的需求,不再为大家所采用。

  2网络依附存储系统(Network Attached Storage,NAS)NAS的结构是以网络为中心,面向文件服务的。

  在这种存储系统中,应用和数据存储部分不在同一服务器上,即有专用的应用服务器和专用的数据服务器。

  其中专用数据服务器不再承担应用服务,称之为“瘦服务器”(Thin Server)。

  数据服务器通过局域网的接口与应用服务器连接,应用服务器将数据服务器视做网络文件系统,通过标准LAN进行访问。

  由于采用局域网上通用数据传输协议,如NFS、C1FS等,所以NAS能够在异构的服务器之间共享数据,如Win-dows NT和UNIX混合系统。

  NAS系统的关键是文件服务器,一个经过优化的专用文件服务和存储服务的服务器是文件系统所在地和NAS设备的控制中心,该服务器一般可以支持多个I/O节点和网络接口,每个I/O节点都有自己的存储设备。

  3存储区域网络(storage Area Network,SAN)SAN是一种以光纤通道(Fiber Channel,FC)实现服务器和存储设备之间通讯网络结构,如图三所示。

  SAN的核心是FC,其中的服务器的存储系统各自独立,地位平等,通过高带宽(传输速率为800Mb/S,全双工时可达1.6Gb/S)FC集线器或FC交换机相连,可避免大流量数据传输时发生阻塞和冲突。

  各应用工作站通过局域网访问服务器,在各存储设备之间交换数据时可以不通过服务器,这样就大大减轻了服务承受的压力。

  三、NAS和SAN的比较

  NAS、SAN与传统网络存储技术相比而言,无论是从网络传输带宽、数据共享性还是从存储容量的可扩充性、数据的一体化和安全性等各方面来说,其优越性是不言而喻的。

  所以,现在众多的用户在对其存储方案进行选择时,实际上也就成为对NAS和SAN的选择了。

  NAS和SAN有许多共同的特点。

  它们都提供集中化的数据存储和整合优化,都能有效的存取文件,都允许在众多的主机间共享并支持多种操作系统,都允许从应用服务器上分离存储。

  而且。

  它们都提供数据的高可用性,都能通过冗余部件和RAID保证数据的完整性。

  NAS和SAN也有着一些不同点。

  首先,实施和维护的难易程度不同。

  上面曾提到,NAS的存储设备与众多访问客户的连接是通过标准的LAN进行的,也就是说,直接将NAS存储设备接入LAN中就可以使用了,管理者所要做的只是来定义网络寸取权限或为每个用户定义磁盘限额。

  而且由于NAS采用了热插拔和即插即用技术,所以在新设备接入时无需关闭数据服务器或进行重新配置,新增的存储空间可以立即为众多的应用服务和客户机所共享。

  而SAN的存储设备与客户之间的联系是通过专用FC集线器和交换机来进行的,如果客户端增加,就要对交换机进行级连,这就大大增大了安装与设备难度。

  其次,二者的设备管理难易程序不同。

  由于NAS中每一个I/O节点都有自己的存储设备,而这些设备又没有一个统一的管理的界面,所以管理人员就必须逐一管理每个NAS设备,从使管理成本随网络上的NAS设备的增多而线性增加。

  而SAN对整个网络中的存储设备的管理。

  是采用SAN专用管理软件来进行集中式管理的,用户可以通过简单的图形界面来管理不同平台和介质上的数据,也就是说,在SAN中,其整个存储网络成为一个集中化的存储池,这样,管理人员管理起来也就非常简单了。

  再者,NAS和SAN的管理对象也不相同。

  SAN管理的是磁盘空间,而NAS管理的是文件,也就是说,SAN是个磁盘工厂,而NAS只是一个文件服务器。

  最后,也是最重要的一点,那就是二者在性能上有所不同。

  NAS是基于传统以太网络的存取设备。

  虽然减轻了服务器所承担的压力,但势必严重增加网络的负荷。

  而且无论存储磁盘的速度有多快,存储速度只可能与网络带宽所允许的速度一样快。

  即NAS达到高性能的前提条件是网络带宽足够。

  否则其性能将急剧下降。

  而如果为了解决带宽问题而增设宽带网段,就势必丧失NAS价格较低、安装设备容易的优势。

  与NAS不同,SAN构建于基于光纤的专用数据网络,可以提供极高的带宽(新的FC标准可使带宽达到4GB),不必担心由于带宽不足而引起的性能下降。

  可以说,NAS和SAN各有其长短之处,在实际应用中也各有不同之处。

  对于经济实力不足,有传统以太网络,且急需扩充存储空间的用户,NAS无疑是一种便宜、快速的方案。

  而对于拥有强大经济后盾,对网络性能要求较高及未来发展势头强劲的用户,则应该选择sAN。

  四、SAN的现状和发展

  1 现状

  由于自身所具有的高速、集中化存储管理及几近无限的扩充能力这些特点,特别适合对海量数据的视音频数据进行存储、传输和实时处理,所以采用FC技术的SAN目前在很多电视台得到了推广,甚至已成为电视台运做的核心。

  在视频处理领域里,SAN就像数字视频网络中的大本营,不但承担着视频数据的存贮、迁移、交换、共享,而且掌管着网络设备的登记、删除、查询、维护。

  可以这么理解,SAN是电视台视频网络的主干,在SAN网上可以挂接诸如新闻生产系统、非线性编辑系统、广告非线性插播系统、数字化节目库系统等。

  SAN在日益广泛的应用中也暴露了一些缺点和不足。

  SAN网络仍然采用传统网络结构进行存储操作,网络结构主要由交换机与集线器构成。

  将这些传统规范的硬件应用于新的存储结构中,并应用传统的网络管理技术进行存储管理。

  最终导致了系统的匹配问题。

  SAN系统出现之初,的确为我们解决了企业数据存储与共享的问题。

  当存储数据达到TB级,高带宽网络站点(视频工作站)很多时就会出现很多问题,导致系统性能严重下降。

  而第二代SANMSDD(SAN Data Director)的出现,弥补了这些不足。

  2 发展新一代SAN,其结构的核心是SDD,它不是一个更大的交换机,但它完成的功能更多。

  它将交换、缓存、RAID、I/O以及数据和文件的管理集于一身,并可以完成数据和网络的管理,为数据交换提供高带宽、高容错的集中存储访问。

  SDD内部有两个完全相同的组件,称之为HSTD(HSTDl、HSTD2),每个HSTD有四个IOOMB/S带宽流量的数据交换端口,称之为HOST。

  这样,每个HSTD就有400MB/S的带宽,一个SDD拥有两个HSTD的800MB/S带宽。

  HOST端口可直接与服务器、工作站相连,也可与交换机相连。

  每个HSTD还有上60芯的数据总线用于和存储硬盘阵列相连完成数据交换。

  SDD利用HSTD组件省去了复杂的交换机间连接,并将RAID控制器集成,前面的端口连接服务器,也可以连接交换机,后面的端口连接硬盘柜。

  这样一来,网络结构变得非常清晰、简洁。

  可扩展性强,并且SDD对传输通道、硬盘通道、硬盘多重冗余,不仅提高了带宽,又增加了安全保障,系统几乎永不死机。

  五、总结

  传统SAN适用于小规模的存储网络和如小型节目制作网、平面工作室、小型网站等,无法满足大型存储网络的传输带宽和存储的需要。

  SDD是专门SAN设计,它克服了原有SAN结构的缺点,为SAN提供一个广泛的、高性能的解决方案。

  其主要特征为:数据处理与网络的智能化;大量的I/O处理能力;低延时传输;高度的可靠性与使用性;可继续使用原有的网络设备。

  利用SDD可大量、高速传输数据,而且其还可以支持多操作平台之间的数据高速智能化传输。

  它可广泛应用于大规模视频处理、INTERNET信息发布、数字资料库等海量数据存储领域。

  网络存储技术【2】

  摘要:网络数据的骤增,对数据存储要求越来越高,网络存储系统的性能成为了整个系统的核心,因此网络存储直接影响到网络的有效运行。

  有效的网络存储技术能更大发挥网络系统的功能,更加优化网络的运行。

  SAN是一种集中化的存储技术,使网络存储系统具有良好的可用性、可扩充性、可维护性。

  关键字:网络存储 SAN 性能对比

  随着网络数据存储的要求大量增加,对于网络存储技术的研究也加快研发的步伐。

  现阶段比较成熟,应用广泛的网络存储方法有三种,分别是DAS、NAS、SAN。

  1、SAN概述

  SAN(Storage Area Network)即存储区域网络,是将许多存储设备和不同的服务器利用基于光纤通道技术的交换机、集线器和电缆连接起来,提供更高的吞吐能力,支持更远距离和更可靠连接的存储网络。

  SAN是目前正在流行的前沿数据存储方案,他的核心思想是用存储区域网进行数据的存储。

  SAN存储网络是独立于局域网,存储不需经过局域网中其他网络部分,具体高传输率和高可靠性,是解决存储方案的重要技术。

  2、SAN存储网络的优缺点

  SAN存储方案具有其优越的特性,典型的有以下几个方面:

  (1)管理方便。

  SAN存储网将分散存储的存储设备逻辑上组成一体,使用管理软件将分布在不同地理位置的设备统一管理,这样也降低了管理费用。

  同时通过相应的管理软件具备了无人值守运行、远程配置和监管的特点。

  (2)有良好的可扩展性。

  由于在SAN中存储系统和服务器之间是通过光纤交换机进行连接,即存储网络是独立的,就使得存储系统的扩展性增强,容易进行海量扩充。

  (3)支持异构服务器。

  Linux、UNIX、Windows和NetWare服务器可同时连接,能够有效地减少总体拥有成本,保护用户的有效投资。

  (4)高速存储和优越网络性能。

  SAN存储网络是以光纤为传输介质,这就提高了数据的存储速度。

  同时,SAN存储网络是独立的网络环境,用于存储的数据流不会干扰其他网络的运行速度,减轻了服务器与终端之间网络的负荷。

  (5)容错能力、高可靠性和高可用性。

  SAN就绪的所有硬件都具备可热插拔的冗余结构,保证了其可靠性。

  在具体应用的实现方式上支持Active/Active和Active/standby。

  (6)远程配置和备份。

  由于采用的是光纤媒介,其网络距离可以达到几公里,对于分布在这个范围的存储设备可以进行远程配置与备份。

  SAN架构的优点相当明显,随着它的发展其不足之处也不断表现出来。

  主要有以下几个方面:

  (1)标准不统一。

  不同厂商之间的存储设备标准各不相同,不同的生产厂商的管理软件仅能管理自己的存储设备,不能同时管理其他厂商的存储设备,这样其实就不能达到统一管理的目的,达不到SAN对存储设备的逻辑上的统一配置。

  同时由于SAN的技术普及时间较短,集成商的技术支持的水平参差不齐,而原厂商的维护费用又相当昂贵,因此采用基于SAN架构的存储,需要对存储设备是否与现有各业务系统的设备有良好的兼容性做详尽的技术调研和测试。

  (2)造价昂贵。

  基于SAN存储网络,对于组建一个LAN

  来说,同时另个还要组建一个SAN存储网络。

  这相当于有两个网络的组建费用。

  这明显提高了整个网络组建的费用。

  3、三种网络存储技术性能对比

  对于网络存储主要有三种技术:DAS存储、NAS存储、SAN存储。

  (1)DAS与SAN的比较。

  DAS存储,也称为SCSI存储结构,是应用网络存储最早的一种方案。

  DAS存储就是采用SCSI协议来存储数据,将存储器存放在服务器内,通过SCSI协议与服务器相连,服务器做数据存储的中转站。

  因此,提供的存储器有限,要增加存储需通过SCSI的HUB进行连接。

  这种增加存储的方式会产生多个DAS系统,对于服务器来说是一种负担,就产生一种性能瓶颈,影响服务器的性能,从而影响整个网络的性能。

  这种方式对于现在网络中的海量数据存储、数据共享的要求,无法解决。

  因此DAS存储对于网络存储不是一种理想的方案,不适应于网络存储对于数据的可管理性,海量与共享的要求。

  DAS存储发展比较早,结构比较简单,对于小规模的数据存储比较适合。

  DAS存储网络整个造价比较低,没有单独的存储网络需要建立。

  (2)NAS与SAN的比较

  NAS(Network Attached Storage)存储,即网络附加存储技术,主要作用就是把存储设备尤其是海量存储设备连接到现有的网络上,通过网络环境提供数据和文件服务。

  它具备以下几个优点:以以太网为中心,具备良好的网络应用基础;真正的数据共享;部署简单快捷;扩展性好,性价比高。

  但是NAS也存在很明显的缺点,因为其设备直接接到以太网上,对整个网络的带宽的消耗相当大。

  NAS的存储是通过以太网的网络的来存储数据的,其数据流流经网络,这样就影响其它终端的使用。

  要组建NAS网络就必须要有足够大的带宽。

  但是,对于现今的海量数据存储来讲,就是千兆网都无法满足,这就造成网络无法承担负荷。

  因此对于组建现今海量存储的网络存储系统来说,基于NAS的系统并不是一种理想的选择。

  4、SAN的发展前景

  SAN技术将是现今海量网络存储系统最理想的选择。

  它提供了服务器和存储系统之间高速而灵活的连接方式,实现了真正高速网络存储目标。

  SAN存储方式采用纤通道技术,而纤通道技术具有高带宽、高速度、长距离的传输特性,同进SAN具有了全冗余、交换式和平行数据路径的设计结构,克服众多的网络存储系统的瓶颈。

  现今SAN技术越来越成熟,能够满足现今网络对于数据的海量存储、高速存储,同时对于网络的方便数据管理、存储扩充、长距离控制等各方面的要求都能有效的满足。

  因此,SAN技术在网络存储领域将会得到飞速发展。

  参考文献:

  [1]法利(美)著,孙功星等译.SAN存储区域网络(第2版).机械工业出版社,2007.

  [2]孙晓明,杜韦辰,陈 蕾.构建SAN技术集中存储方案. 甘肃科技,2009.1

  [3] 李伟,基于SAN架构的数据存储和备份系统, 电脑知识与技术,2010.7

  存储网络技术【3】

  摘要:网络数据信息爆炸性的增长,使网络存储技术变得越来越重要,已成为Internet及其相关行业进一步发展的关键。

  本文介绍了网络存储的研究现状、发展趋势和基本原理,概述了它的理论和技术,并对相关应用进行了介绍。

  关键词:存储网络;NAS;SAN

  当今所说的“存储”是包含传统存储介质在内,结合网络、通信等相关技术,向着虚拟化、网络化方向发展的一个全新概念。

  附网存储(Network Attached Storage,NAS)、存储区域网(Storage Area Network,SAN)和IP—SAN是网络存储技术的三个主要方向。

  本文将就网络存储技术的关键概念、关键技术、研究结果和应用,以及未来发展趋势进行介绍。

  一、国内外研究现状

  NAS和SAN是网络存储中的两大关键技术,围绕这两大技术,当今网络存储技术的发展方向主要有:NAS和SAN的集成技术、IP存储技术、网格存储技术、虚拟化存储技术、对象存储技术、存储机群系统、基于光纤通道的SAN(FC—SAN)和基于IP的SAN(IP-SAN)(在IP_SAN中,iSCSI是应用最广泛的技术)、分布式异构存储网络、网络存储设备、网络存储集成技术研究、串行SAS(Serial Attach SCSI)。

  NAS解决方案:NetApp FAS270C;SAN解决方案:DELL,EMC AX1O0。

  二、关键概念与关键技术介绍

  (一)存储虚拟化技术

  存储虚拟化的核心工作是将物理存储设备映射到单一逻辑资源池。

  为用户和应用程序提供虚拟磁盘或虚拟卷,隐藏具体物理设备的物理特性。

  从而实现对存储系统的集中管理,使客户的存储系统容纳更多数据,更多的用户共享同一个系统,存储管理操作(例如系统升级、建立和分配虚拟磁盘、改变RAID级别、扩充存储空间等)变得更为简便。

  根据数据与控制信息是否使用同一通道传输,存储虚拟化可以分为In—Band和Out—of-Band两种实现模型。

  In—Band模型是最常用的虚拟化形式,通过主机服务器和存储设备之间的存储区域在数据路径中插入存储抽象层,用虚拟存储控制设备中的管理软件来管理和配置存储设备,数据和控制信息使用同一条通路。

  这种方法可以节省硬件投资,但是在虚拟存储控制设备处容易造成网络拥塞而形成系统瓶颈,降低性能。

  在实际应用中这种结构常采用冗余配置,以避免单点故障。

  Out—of--Band模型中,数据和控制信息使用不同的传输通道,应用服务器的I/0命令先通过专用命令通路传送至专用的元数据服务器或控制器,获得元数据和数据视图后,再直接通过数据通路得到所需数据。

  因此减少了网络延迟,增加了带宽的可升级性,从而提高了系统性能。

  这种结构可避免系统的单点故障和瓶颈,但是在一定程度上增加了用户的投资。

  存储虚拟化可以在服务器、存储设备或在专用设备上实现。

  基于服务器端的实现是将虚拟化层放在应用服务器上,通过改造操作系统或者加上虚拟层来实现映射工作,这种方法不需要额外硬件。

  基于存储设备的方案是将虚拟化层放在存储设备的适配器或控制器,这种方法在理论上性能最优,能充分考虑存储设备的物理特性,并将应用服务器从虚拟化存储的实现工作中彻底解放出来,方法简单。

  由于存储网络本身是系统中的一个专用的网络,所以可通过在存储区域网络这一级采用智能化的存储路由器、存储交换机,或者增加一个元数据服务器等来实现虚拟化的工作。

  [3]

  (二)IP存储技术

  2003年2月11日.IETF通过了由IBM、思科共同发起的iSCSI标准。

  iSCSI是一个供硬件设备使用的,可以在IP协议的上层运行的SCSI指令集。

  使其能够在诸如高速千兆以太网上进行路由选择,能够通过标准互联网协议(IP)传输数据和信息。

  由于iSCSI技术是基于IP协议的,能容纳所有IP协议网络中的部件,因此,用户可以在任何需要的地方创建实际的SAN网络,而不需要专门的光纤通道网络在服务器和存储设备之间传送数据。

  同时,因为没有光纤通道对传输距离的限制。

  IPSAN使用标准的TCP/IP协议,数据即可在以太网上进行传输。

  采用iSCSI技术组成的IPSAN可以提供和传统FcSAN相媲美的解决方案。

  而且普通服务器或PC机只需要具备网卡,即可共享和使用大容量的存储空间。

  与传统的FC SAN相比,IP SAN技术简单、低成本的特色相当明显。

  在10Gb以太网环境下,完全可以与FcSAN在交换性能上一争高低。[1]

  (三)存储集群系统

  集群存储系统的基本原理是,所有的设备被整合到一个虚拟的存储池,组成一个透明化的全局文件系统,整个集群系统只能分配到一个驱动器盘符。

  这样不仅可以提高磁盘资源的利用率;还增加了服务器共享数据的能力,避免了因相同文件被重复备份而造成的不必要的资源浪费。

  两台控制器耦合在一起,互为冗余。

  如果其中一台设备发生了故障,另一台将会自动顶替上,维持业务的连续性,这就是最简单的集群形式。

  active—passive工作模式的冗余双控制器配置方案,两台控制器中总有一台一直处于备用状态,从控制器并不会分担主控制器的工作负载,而且系统容量是无法扩展的。

  active—active工作模式下,在两台控制器之间可以实现双向的失效切换和负载均衡分配。

  存储集群主要有两大类:一类是集群文件系统。

  一类是建立在集群的架构之上的独立硬件设备。

  目前,开发集群文件系统软件有IBM、Ibrix、PolyServe、Red Hat、SGI和Vefitas等公司。

  它们都是基于主机的应用软件,可将SAN网络中分布的服务器集群在一起,提供一个统一的管理界面。

  从而能够支持多厂商的存储设备,保护用户的原有投资。

  相比之下,如果采用硬件集群系统的话,就需要添置新的硬件设备,费用比较大。[2]

  (四)网格存储技术

  网格存储是网格技术发展的重要组成部分。

  它将存储和存储引擎整合成内部相连的网格,通过网络以一种灵活的、透明的方式分配资源,依照单位的存储策略和程序高效地管理存储资源,以保护大容量信息资产的安全。

  网格存储具有以下特点:1.模块化存储数组;2.共通管理,可以处理所有节点上数据资源,包括数据保护、资料行动化与移植以及供应与需求的分配;3.共通虚拟层,这是逻辑资源池,可支持用户的各种动态交互服务;4.简化平台与管理架构。

  总之,网格存储能很好地解决各类资源的自动优化,自动配置,自我保护和自动恢复等功能。

  这显然是媒体资产管理中所追求的目标。

  网格存储是以节点之间的备份为基础,可以在多重节点上进行内容管理与储存,也可以在存储环境上的多重节点进行资料转移与传输。

  既可应用于SAN环境,又可应用于NAS环境。

  可以将不同的管理工具、不同的存储应用融合在一起,兼容不同的网络协议,支持不同的系统平台,在各个分布系统上运行而且同步。

  对于容量、性能、服务质量和连接协议的可升级性,远远超出当前有限的虚拟化实现途径。[3]

  三、结论:

  市场的需求带动了商业的发展,从而也大大促进了技术的更新。

  例如:思科提出的自防御网络概念、智能存储网络;IBM提出的存储网络容灾备份解决方案;安捷伦科技为存储网络推出4Gbit/s PCI Express 光纤通道控制器、业内第一款4GB/S光纤通道控制器芯片。

  网络存储也正朝着虚拟化、集群化的方向发展,但还没有得到推广与完善。

  尚待解决的问题有:NAS存储性能较低、存储量过大、降低局域网的性能、SAN的实际局限和地理范围拓展的矛盾等。

  参考文献:

  [1]张光华.基于IP存储网络数据备份的研究.武汉理工大学,2009,04,01

  [2]李侠.基于混合P2P结构的网格存储模型的研究.北京化工大学,2009,06,01

  [3]杨雷.通用存储网络系统的能耗研究.计算机工程,2011,09,20

【智能网络存储】相关文章:

计算机网络存储论文10-09

计算机网络存储技术探究论文10-09

新时期面向云存储的安全存储策略10-05

关于智能建筑智能化网络设计的几点思考10-05

浅析智能光网络技术及发展10-26

计算机网络存储技术发展展望论文10-08

网络存储服务提供商在通知删除程序的义务分配10-05

存储虚拟化技术10-05

刍议计算机网络存储技术与发展方向的论文10-08