CN119883110B - 一种高可靠异构存储资源池构建方法及系统 - Google Patents

Abstract

本申请提供了一种高可靠异构存储资源池构建方法及系统，该高可靠异构存储资源池构建方法包括以下步骤：对异构存储设备进行虚拟化；对异构存储空间进行扩容；对异构存储池数据读写进行优化；对异构存储池可靠性进行设计。在上述技术方案中，实现了异构存储设备存储资源池的在线扩容，同时保持用户上层应用接口不变，实现了存储资源池构建的便捷性和可靠性。

Description

一种高可靠异构存储资源池构建方法及系统

技术领域

本申请涉及到计算机应用技术领域，尤其涉及到一种高可靠异构存储资源池构建方法及系统。

背景技术

现有存储设备主要有两类，分别为磁盘阵列存储和分布式集群存储，在存储使用过程中，随着用户数据增加会遇到容量扩容需求，扩容原有存储是最简单快捷的方案。磁盘阵列存储通过纵向扩展磁盘柜进行扩容，分布式集群存储通过横向扩充节点进行扩容。两类存储扩容都有一定局限性，磁盘阵列扩容是在保持原有存储处理器情况下增加磁盘数量扩容，因存储机头有限，极易出现瓶颈；分布式集群存储系统虽宣称支持节点和容量较大，但硬件停产或软件兼容等原因造成扩容困难。在原有存储无法扩容情况下，只能通过采购新存储设备方式进行扩容，但原有存储设备与现有存储设备存储空间融合困难，无法向用户提供统一的存储空间，上层应用必须识别新旧两种存储，并根据存储开发对应的使用接口，造成用户使用不便。

发明内容

本申请提供了一种高可靠异构存储资源池构建方法及系统，用以实现异构存储设备存储资源池的在线扩容，同时保持用户上层应用接口不变，实现了存储资源池构建的便捷性和可靠性。

第一方面，提供了一种高可靠异构存储资源池构建方法，包括以下步骤：

对异构存储设备进行虚拟化；

对异构存储空间进行扩容；

对异构存储池数据读写进行优化；

对异构存储池可靠性进行设计。

在上述技术方案中，通过对异构存储设备进行虚拟化；对异构存储空间进行扩容；对异构存储池数据读写进行优化；对异构存储池可靠性进行设计；实现了异构存储设备存储资源池的在线扩容，同时保持用户上层应用接口不变，实现了存储资源池构建的便捷性和可靠性。

在一个具体可实施方案中，对异构存储设备进行虚拟化的步骤，具体包括：

对异构存储设备进行统一纳管；

对虚拟化块域进行多路径映射。

在一个具体可实施方案中，通过iSCSI协议统一纳管异构存储设备。

在一个具体可实施方案中，使用嵌入式扩容方法策略和组合式扩容方法策略对异构存储空间进行扩容。

在一个具体可实施方案中，所述嵌入式扩容方法策略将将虚拟化后的存储设备整体嵌入集成到现有文件系统对应的虚拟化块域中，增加虚拟化块存储池的容量。

在一个具体可实施方案中，所述组合式扩容方法策略将虚拟化后的存储设备作为一个或多个独立的虚拟化块域，相对应的构建一个或多个虚拟化块存储池，并将该虚拟化块存储池作为额外的数据池添加到文件系统中。

在一个具体可实施方案中，对异构存储池数据读写进行优化的方法包括设计文件系统动态子树分区分布方法、数据写入负载均衡方法以及条带化动态分布优化方法。

在一个具体可实施方案中，采用元数据管理节点可靠性设计方法对异构存储池可靠性进行设计。

在一个具体可实施方案中，所述元数据管理节点可靠性设计方法包括：

对多节点之间的协商网络协议进行设计；

对多节点广播报文格式进行设计；

对主节点管理策略进行设计；

对主备节点切换策略进行设计。

第二方面，提供了一种高可靠异构存储资源池构建系统，包括：

虚拟化模块，用于对异构存储设备进行虚拟化；

扩容模块，用于对异构存储空间进行扩容；

读写优化模块，用于对异构存储池数据读写进行优化；

可靠性设计模块，用于对异构存储池可靠性进行设计。

在上述技术方案中，通过对异构存储设备进行虚拟化；对异构存储空间进行扩容；对异构存储池数据读写进行优化；对异构存储池可靠性进行设计；实现了异构存储设备存储资源池的在线扩容，同时保持用户上层应用接口不变，实现了存储资源池构建的便捷性和可靠性。

附图说明

图1为本申请实施例提供的高可靠异构存储资源池构建方法的流程框图；

图2为本申请实施例提供的高可靠异构存储资源池构建系统的结构框图；

图3为本申请实施例提供的异构存储设备虚拟化设计的示意图；

图4为本申请实施例提供的文件系统存储空间扩容方法的示意图；

图5为本申请实施例提供的DNS负载均衡原理图；

图6为本申请实施例提供的多节点协商报文格式的示意图；

图7为本申请实施例提供的元数据管理主节点状态机的示意图；

图8为本申请实施例提供的元数据管理备节点状态机的示意图。

具体实施方式

下面通过附图和实施例对本申请进一步详细说明。通过这些说明，本申请的特点和优点将变得更为清楚明确。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

此外，下面所描述的本申请不同实施方式中涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

为方便理解本申请实施例提供的高可靠异构存储资源池构建方法及系统，先说明一下其应用场景。本申请实施例提供的高可靠异构存储资源池构建方法及系统用以实现异构存储设备存储资源池的在线扩容，同时保持用户上层应用接口不变，实现了存储资源池构建的便捷性和可靠性。现有存储设备主要有两类，分别为磁盘阵列存储和分布式集群存储，在存储使用过程中，随着用户数据增加会遇到容量扩容需求，扩容原有存储是最简单快捷的方案。磁盘阵列存储通过纵向扩展磁盘柜进行扩容，分布式集群存储通过横向扩充节点进行扩容。两类存储扩容都有一定局限性，磁盘阵列扩容是在保持原有存储处理器情况下增加磁盘数量扩容，因存储机头有限，极易出现瓶颈；分布式集群存储系统虽宣称支持节点和容量较大，但硬件停产或软件兼容等原因造成扩容困难。在原有存储无法扩容情况下，只能通过采购新存储设备方式进行扩容，但原有存储设备与现有存储设备存储空间融合困难，无法向用户提供统一的存储空间，上层应用必须识别新旧两种存储，并根据存储开发对应的使用接口，造成用户使用不便。为此本申请实施例提供了一种高可靠异构存储资源池构建方法及系统，以实现异构存储设备存储资源池的在线扩容，同时保持用户上层应用接口不变，实现了存储资源池构建的便捷性和可靠性。下面结合具体的附图以实施例对其进行详细说明。

参考图1至图8，图1为本申请实施例提供的高可靠异构存储资源池构建方法的流程框图；图2为本申请实施例提供的高可靠异构存储资源池构建系统的结构框图；图3为本申请实施例提供的异构存储设备虚拟化设计的示意图；图4为本申请实施例提供的文件系统存储空间扩容方法的示意图；图5为本申请实施例提供的DNS负载均衡原理图；图6为本申请实施例提供的多节点协商报文格式的示意图；图7为本申请实施例提供的元数据管理主节点状态机的示意图；图8为本申请实施例提供的元数据管理备节点状态机的示意图。

在图1中，本申请实施例提供了一种高可靠异构存储资源池构建方法，包括以下步骤：

对异构存储设备进行虚拟化；

对异构存储空间进行扩容；

对异构存储池数据读写进行优化；

对异构存储池可靠性进行设计。

在上述技术方案中，通过对异构存储设备进行虚拟化；对异构存储空间进行扩容；对异构存储池数据读写进行优化；对异构存储池可靠性进行设计；实现了异构存储设备存储资源池的在线扩容，同时保持用户上层应用接口不变，实现了存储资源池构建的便捷性和可靠性。

在一个具体可实施方案中，对异构存储设备进行虚拟化的步骤，具体包括：

对异构存储设备进行统一纳管；

对虚拟化块域进行多路径映射。

在一个具体可实施方案中，通过iSCSI协议统一纳管异构存储设备。

在一个具体可实施方案中，使用嵌入式扩容方法策略和组合式扩容方法策略对异构存储空间进行扩容。

在一个具体可实施方案中，所述嵌入式扩容方法策略将将虚拟化后的存储设备整体嵌入集成到现有文件系统对应的虚拟化块域中，增加虚拟化块存储池的容量。

在一个具体可实施方案中，所述组合式扩容方法策略将虚拟化后的存储设备作为一个或多个独立的虚拟化块域，相对应的构建一个或多个虚拟化块存储池，并将该虚拟化块存储池作为额外的数据池添加到文件系统中。

在一个具体可实施方案中，对异构存储池数据读写进行优化的方法包括设计文件系统动态子树分区分布方法、数据写入负载均衡方法以及条带化动态分布优化方法。

在一个具体可实施方案中，采用元数据管理节点可靠性设计方法对异构存储池可靠性进行设计。

在一个具体可实施方案中，所述元数据管理节点可靠性设计方法包括：

对多节点之间的协商网络协议进行设计；

对多节点广播报文格式进行设计；

对主节点管理策略进行设计；

对主备节点切换策略进行设计。

参考图3至图8，所述高可靠异构存储资源池构建方法，具体包括：

一、异构存储设备虚拟化设计

参考图3，设计异构存储设备虚拟化方法，通过标准的iSCSI协议结构，将多套异构磁盘阵列、分布式集群存储设备统一纳管，通过iSCSI协议将异构存储设备接管到本地，所有异构存储空间组成系统的异构层，构建一个或多个虚拟化块域存储池。通过分片技术先将较大存储空间切分成1G大小的数据块，切分的数据块可用于不同存储池中使用，所有数据块组成系统的分片层。通过冗余技术将分片存储按用户冗余需求组成单副本、多副本或纠删码。文件层虚拟化方法根据不同用户容量需求，将统一存储空间切分成多个文件系统，为用户提供文件服务。对已经纳管的存储设备存储空间进行统一管理、统一调度、统一分配使用，构建共享分布式文件系统存储资源池。

存储设备包含多个节点，通过分布式节点映射存储空间生成多个磁盘，使用多路径管理将多条路径映射的同一个存储空间虚拟化成一个虚拟化块域，便于直接访问而不关心每条链路的状态。每条路径都可以映射一块SCSI硬盘并都具有一个SCSI地址，该地址由initiator ID、bus ID、target ID以及LUN ID组成，在实际组网中，initiator ID一般对应主机HBA端口，bus ID在SAN映射硬盘中一般固定为0，target ID一般对应存储阵列控制器端口，LUN ID表示LUN在target中的序号。多路径软件为区分不同路径映射硬盘是否为相同的LUN，都借用SCSI设备的WWN，当WWN相同时表示两条路径映射的SCSI设备为同一个LUN。

二、异构存储空间扩容设计

参考图4，提出了共享分布式存储资源池扩容的嵌入式扩容和组合式扩容两种扩容方法，两种方法均保持用户侧的NFS挂载目录保持不变，在用户侧看来增加了其已挂载目录下的可用存储空间。

嵌入式扩容方法将将虚拟化后的存储设备整体嵌入集成到现有文件系统对应的虚拟化块域中，增加虚拟化块存储池的容量，进而增加分布式文件系统存储容量。在扩容过程中，基于各套分布式集群存储设备实时运行状态以及预先设定的策略参数，动态地规划并执行数据迁移，将部分数据从负载较高的存储设备转移到负载较低的设备上，以确保数据在存储系统内的最优分布，同时提升整体的性能和效率。

组合式扩容方法将虚拟化后的存储设备作为一个或多个独立的虚拟化块域，相对应的构建一个或多个虚拟化块存储池，并将该虚拟化块存储池作为额外的数据池被添加到文件系统中，用以扩展存储容量。虚拟化块存储池构建完成后，根据需求激活需要使用的虚拟化块存储池使其转为活动状态，从而以资源池为单位进行扩容操作。而那些当前未处于活动状态的资源池，则可以被设置为休眠模式，它们在此状态下不参与系统的重平衡计算，以节省资源。然而，一旦有数据访问需求指向这些休眠资源池中的数据，系统能够迅速响应，通过高效的压缩处理技术，快速提供数据访问的同时，也显著降低了整体的存储空间消耗。

三、异构存储池数据读写优化设计

参考图5，提出了基于RADOS的文件系统动态子树分区分布算法。在采用动态子树分区法的基础上，文件系统为了达到最佳的扩展性和性能，将元数据和业务数据进行了分离，并且统一存储到RADOS层中。首先将数据分割成大小相同的对象，每个对象都具有唯一的ID。然后，使用哈希算法将对象的ID映射到存储节点上，确保数据均匀分布并存储在正确的节点上。为了进一步提高数据的安全性和容错性，将每个对象在多个节点上进行复制，以实现数据的冗余备份。通过可扩展存储分配算法来管理数据的放置和复制，确保数据在集群中的高效分发和访问。通过Cluster Map来维护整个集群的元数据和信息，包括节点的状态、数据的分布和副本的位置等，以确保集群的一致性和稳定性。通过实时监控集群节点的负载，动态调整子树分布于不同的节点。并且能根据负载动态调整数据分布。从而保证文件系统上所以节点的负载均衡。

提出了基于DNS负载均衡的数据写入请求分配方法。当文件系统被成功挂载于所有节点上时，为了确保各节点间的负载均衡，设计了DNS负载均衡作为数据写入请求的初步分配方法。在DNS服务器中为同一个主机名配置多个IP地址，在应答DNS查询时，DNS服务器对每个查询将以DNS文件中主机记录的IP地址按顺序返回不同的解析结果，将客户端的访问引导到不同的机器上去，使得不同的客户端访问不同的服务器。这一机制使得每个节点都有机会均等地处理写请求，有效避免了单一节点的过载，提高了整体系统的稳定性和响应速度。

提出了条带化动态分布优化方法。为了进一步优化的条带化效果，根据磁盘的实际性能参数(如I/O速度、延迟)、剩余存储空间大小以及当前的负载状况，动态地计算并调整每个磁盘上应分配的条带数量。当条带数量多时，通过调整权重因子将数据更大概率写入条带多的磁盘中，这一动态调整机制确保了数据能够均匀且高效地分布在所有可用的磁盘上，从而避免了因数据倾斜而导致的某些磁盘过载，而其他磁盘则空闲的情况。当检测到某个磁盘中有大量数据条带时，根据自动监测各磁盘上的条带数量情况，通过调整权重因子将新的写请求分配给当前条带数量相对较少的磁盘，以平衡各磁盘的负载。该方法保持数据在磁盘间的均衡分布，且能够最大化地利用每个磁盘的存储和处理能力，进一步提升系统的整体性能和资源利用率，提高存储池并行访问能力和吞吐量。

四、异构存储池可靠性设计

参考图6至图8，提出了元数据管理节点可靠性设计方法。元数据管理节点用于保存存储池的元数据。元数据管理节点采用主、备设计，节点之间通过万兆以太网实现多框互联，每个节点配置单个ID及对应框IP地址。因为要支持多节点协商，多节点之间协商不再采用单播方式协商，而是采用组播报文进行协商，组播地址采用224.0.0.1，组播端口默认采用UDP端口30002端口(可配置)。任意节点在加入节点集群时默认为主节点，只有无法发现主节点时才会切换至备节点。正常运行状态时，备节点不发送报文，主节点每秒广播一次报文。多节点广播报文格式如图6所示，其中：

ID：为当前节点配置ID，该值在节点集群中为唯一值，不同节点不能配置相同ID。

role：为当前节点状态，包含管理主节点(1：HE_PRIMARY)、管理备框(2：HE_STANDBY)。

ip_num：报文中包含IP地址个数，按照数组形式排列在ip_address中。

ip_address：当前节点具有管理IP地址(二进制格式)，可包含多个IP地址。

元数据管理主节点负责整机的配置工作，所有的配置任务都由主节点进行统一管理，并将配置后的配置信息下发至所有备节点。主节点状态机如下图7所示，在正常情况下每秒广播一次当前节点的状态，防止其他节点抢占为主节点，若收到其他节点报文显示为主节点时，通过比较节点ID来仲裁，节点ID小的框为新的管理主节点。

元数据管理备节点将管理报文转发至主节点进行管理。在正常情况下不发送多框协商组播报文，只有在无法接收到主节点报文时尝试抢占为主时才会发送报文。备节点状态机如下图6所示：

(1)备节点每秒检查一次最近3秒是否收到主节点发送的广播报文，若能够正常收到主节点的广播报文则只进行检查动作；若无法收到主节点的广播报文则执行步骤2。

(2)检查最近3秒是否收到ID比自己小的备节点报文，若能够收到则睡眠1秒后再次执行步骤1；否则执行步骤3。

(3)检查最近6秒是否收到主节点发送的广播报文，若能够收到则本框发送广播报文，睡眠1秒后执行步骤1；否则执行步骤4。

(4)由于6秒内无法收到主节点报文，且正常运行框中本框ID最小，所以本节点切换为主节点。

本实施例中，提供了一种高可靠异构存储资源池构建方法，实现对多套异构磁盘阵列、分布式集群存储设备的文件系统存储空间的融合使用，使用户不需改变用户侧使用策略的前提下，实现共享分布式文件系统存储空间的可靠高效共享读写访问。

在上述技术方案中，针对异构存储设备构建统一存储资源池，提供了一种高可靠异构存储资源池构建方法；利用本申请的方法，在保持已有存储设备在用状态不变的条件下，无需停止用户在用的存储服务，实现异构存储设备存储资源池的在线扩容，同时保持用户上层应用接口不变，实现了存储资源池构建的便捷性和可靠性。

在图2中，本申请实施例提供了一种高可靠异构存储资源池构建系统，包括：

虚拟化模块，用于对异构存储设备进行虚拟化；

扩容模块，用于对异构存储空间进行扩容；

读写优化模块，用于对异构存储池数据读写进行优化；

可靠性设计模块，用于对异构存储池可靠性进行设计。

本实施例中，提供了一种能够融合多种异构存储设备，并提供统一的存储资源池，不管是原有存储设备扩容或增加新的存储设备，都不改变用户侧使用接口，实现快捷、无感知的扩容，解决用户扩容后中数据访问的不便。

在上述技术方案中，通过对异构存储设备进行虚拟化；对异构存储空间进行扩容；对异构存储池数据读写进行优化；对异构存储池可靠性进行设计；实现了异构存储设备存储资源池的在线扩容，同时保持用户上层应用接口不变，实现了存储资源池构建的便捷性和可靠性。

所属技术领域的技术人员知道，本申请可以实现为系统、方法或计算机程序产品。

因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本申请还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM),只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。在此基础上，可以对本申请进行多种替换和改进，这些均落入本申请的保护范围内。

Claims (7)

1.一种高可靠异构存储资源池构建方法，其特征在于，包括以下步骤：

对异构存储设备进行虚拟化；

对异构存储空间进行扩容；使用嵌入式扩容方法策略和组合式扩容方法策略对异构存储空间进行扩容；

所述嵌入式扩容方法策略将将虚拟化后的存储设备整体嵌入集成到现有文件系统对应的虚拟化块域中，增加虚拟化块存储池的容量；

所述组合式扩容方法策略将虚拟化后的存储设备作为一个或多个独立的虚拟化块域，相对应的构建一个或多个虚拟化块存储池，并将该虚拟化块存储池作为额外的数据池添加到文件系统中；

对异构存储池数据读写进行优化；

对异构存储池可靠性进行设计。

2.根据权利要求1所述的高可靠异构存储资源池构建方法，其特征在于，对异构存储设备进行虚拟化的步骤，具体包括：

对异构存储设备进行统一纳管；

对虚拟化块域进行多路径映射。

3.根据权利要求2所述的高可靠异构存储资源池构建方法，其特征在于，通过iSCSI协议统一纳管异构存储设备。

4.根据权利要求3所述的高可靠异构存储资源池构建方法，其特征在于，对异构存储池数据读写进行优化的方法包括设计文件系统动态子树分区分布方法、数据写入负载均衡方法以及条带化动态分布优化方法。

5.根据权利要求4所述的高可靠异构存储资源池构建方法，其特征在于，采用元数据管理节点可靠性设计方法对异构存储池可靠性进行设计。

6.根据权利要求5所述的高可靠异构存储资源池构建方法，其特征在于，所述元数据管理节点可靠性设计方法包括：

对多节点之间的协商网络协议进行设计；

对多节点广播报文格式进行设计；

对主节点管理策略进行设计；

对主备节点切换策略进行设计。

7.一种高可靠异构存储资源池构建系统，其特征在于，包括：

虚拟化模块，用于对异构存储设备进行虚拟化；

扩容模块，用于对异构存储空间进行扩容；使用嵌入式扩容方法策略和组合式扩容方法策略对异构存储空间进行扩容；

所述嵌入式扩容方法策略将将虚拟化后的存储设备整体嵌入集成到现有文件系统对应的虚拟化块域中，增加虚拟化块存储池的容量；

所述组合式扩容方法策略将虚拟化后的存储设备作为一个或多个独立的虚拟化块域，相对应的构建一个或多个虚拟化块存储池，并将该虚拟化块存储池作为额外的数据池添加到文件系统中；

读写优化模块，用于对异构存储池数据读写进行优化；

可靠性设计模块，用于对异构存储池可靠性进行设计。