方案简介
INFINITY 4K分布式云存储解决方案是德拓立足超高清制作的需求环境,为解决海量高分辨率数据的云存储而推出的集群存储产品。这一代存储产品摒弃了传统集群中元数据节点的概念,采用全新的Share Nothing架构,系统中所有节点均独立自给。由于不存在由单点竞争带来的性能瓶颈,因此INFINITY分布式存储克服了传统集群扩展困难的问题,集群最大可扩展至4096个节点,扩展后,容量和性能同时线性增长。同时,INFINITY 4K解决方案及时跟随4K媒体时代脚步,为自身发展了丰富的云特性。它不仅可以通过兼容S3和SWIFT接口实现云端存储,还可以直接作为OPENSTACK等云平台的后端存储,向外弹性提供存储空间。
功能特色
4K超高清制作业务对大规模的媒体数据处理提出了更高的软硬件要求。传统的存储产品已经不能满足4K业务的需求,利用软件定义存储基于Scale out技术的分布式存储是应对超高分辨率挑战的较佳选择。
全局缓存技术
高效智能的缓存能够提高存储系统的访问性能。大多数分布式集群存储系统都是由多个存储节点构成的,而每个存储节点的资源,例如CPU,内存和缓存等都是相对独立的。IO 请求发送到存储节点上之后,会首先查询数据是否在该节点的缓存上,若不在,则该请求将直接转为对节点低速磁盘的访问。然而,由于单个节点缓存容量的限制以及各节点之间缓存的隔离,IO请求直接在当前节点上的缓存中命中的概率比较低,因而会存在大量的对低速磁盘的访问,导致集群的访问性能不高。
针对以上困境,INFINITY分布式集群云存储采用了全局缓存管理机制,集群内部所有节点的缓存都将被视为一个统一的整体,对不同节点的IO访问请求都将在这个统一的缓存中处理,极大地增加了系统的缓存命中率。缓存命中后,数据要么直接返回客户端,要么通过后端高速网络在节点之间传送后再返回客户端,减少了对磁盘的访问,有效提升了系统整体的IO性能。
4K在线制作业务性能优化
随着4K媒体视频的普及,电视台、媒体机构4K频道,素材和成品要求升级为4K高清。德拓INFINITY系列分布式存储针对4K业务推出了4K业务性能优化组件,除了对系统内部算法和软件进行了优化,采用了高带宽的后端数据交换设备,为电视台及媒体机构4K非编组网提供了完备的解决方案,在数据存储平台满足性能的同时还具备了很高的安全性。
IO智能调度技术
INFINITY分布式集群云存储支持不同的业务类型,其强大的可扩展性能够满足各种业务的苛刻要求,但随着集群规模的扩大,硬件故障,如节点故障和硬件故障等发生的概率也相应增大。这些故障会影响系统的IO请求处理效率,进而影响系统的整体性能。
传统的存储系统出现故障时,存储的IO性能会受到极大的影响。在INFINITY分布式集群云存储中,所有的存储节点和对应的资源都放置在统一的视图中进行管理。发生任何故障时,系统的IO智能调度引擎都能够根据当前的集群状态获取最优的处理路径,以保证IO请求的高效可靠处理。例如,在读取数据时如果出现节点或者访问硬盘故障,则原本要访问该节点或硬盘的IO请求将通过算法计算出有效数据或者直接访问其它副本的位置,无须返回IO错误再重发,极大地缩短了IO的处理路径,提高系统的整体性能。
纠删码和副本
INFINITY提供了包括网络纠删码和副本在内的两种数据安全保护模式,用户可根据自身业务需求选择合适的数据保护策略。
网络纠删码是继RAID和副本之后出现的一种数据安全保护机制,实现成本低,可靠性高,因此广受用户青睐。网络纠删码的实现原理是将数据分成多块,然后根据多个数据块计算校验块,数据块和校验块同时分散存储在集群中。当出现数据块或校验块的丢失时,可以根据剩余的块计算出丢失的值,以此方式保障数据安全。允许丢失的数据块和校验块的个数由纠删码的模式决定。上一代集群存储产品只支持K+1模式。这种模式只允许丢失一个块,多于1块的数据丢失将导致整个数据失效。而INFINITY分布式集群云存储支持N+1~N+6的模式。用户可根据自身的需求自己选择。对于N+6模式,即便出现多于6块数据块和校验块的丢失,系统仍能根据剩余的信息计算出丢失的值,保证数据的可靠性。
访问控制技术
访问安全是保护数据安全,提高系统可靠性的重要方面。INFINITY分布式集群云存储为用户提供了多种访问控制技术。
首先,INFINITY支持在共享层进行访问权限控制。文件共享是INFINITY实现数据访问的主要途径,因此,在共享层进行权限控制对于避免非法访问,保护共享数据安全有非常重要的意义。INFINITY在共享层实现的权限控制具有非常高的细粒度和灵活度。它可以支持匿名访问和非匿名访问。两种访问均可以设置禁止、只读和读写三种访问权限。在用户方面,可以随意设置每个用户的权限,不受用户组的限制。
方案优势
在本方案中,部署了德拓INFINITY集群存储的存储架构及专属的4K业务加速组件,其优势特点是具备横向扩展能力,容量和性能可随存储节点数量的增加呈线性增长。在系统扩容时无需对业务造成任何停顿。
在安全性方面,集群存储系统本身采用了网络纠错码数据冗余策略,任何一个节点故障都不会导致数据的丢失,并能够在短时间内迅速恢复故障数据,因此,无论在容量、性能、可扩展性以及数据安全性方面,都能够满足4K应用项目的需求。在系统管理方面,集群系统有自身的管理模式,可以针对不同的客户端挂载相应的目录,而且可以针对不同的目录设置不同的文件分布规则,这样可以有效的利用空间或者设计不同的安全机制,使得系统策略部署起来更加灵活合理。