CN102255962B - 一种分布式存储方法、装置和系统 - Google Patents

Abstract

本发明提供了一种分布式存储方法，还提供了一种分布式存储装置和一种分布式存储系统，在本发明提供的分布式存储方法中，对象存储在资源存储池中，物理存储空间只有当存储对象的时候，才分配给资源存储池，从而能够按照用户所需的物理存储空间，动态灵活的分配物理存储空间，从而提高了物理存储空间的利用率。

Description

一种分布式存储方法、装置和系统

技术领域

本发明涉及磁盘存储技术领域，具体涉及一种分布式存储方法、分布式存储装置和分布式存储系统。

背景技术

云存储是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。

目前，存储系统的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件系统上，文件系统将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(ID，IDentity)等额外的信息，文件系统将每个对象分别写入该逻辑卷的物理存储空间，且文件系统会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。

存储系统为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID，Redundant Array of Independent Disk)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。

可是由于物理存储空间分配给逻辑卷后，被分配的物理存储空间不能发生变化，但由于实际存储的对象容量很可能小于被分配的物理存储空间，在以后的使用过程中，被分配的物理存储空间中会有很大一部分长期处于闲置状态，且这些闲置的物理存储空间也不能被其他逻辑卷所使用，从而造成物理存储空间的利用率低下。例如，采用7+1的RAID5组别，且对存储于逻辑卷的对象的容量估量为448KB，存储系统设置7个分条，每个分条被分配的物理存储空间为64KB，每个分条被分配的物理存储空间不能发生变化，那么只要实际存储的对象容量小于448KB，被分配的物理存储空间就会有一部分处于闲置状态，造成物理存储空间的浪费，导致物理存储空间的利用率低下。

发明内容

本发明实施例提供一种分布式存储方法、分布式存储装置和分布式存储系统。

一种分布式存储方法，包括：

将所有存储节点的物理存储空间切割成至少两个物理块，将所有所述物理块的集合映像成一个逻辑的存储资源池；

在所述存储资源池上建立虚拟卷；

当客户端在所述虚拟卷上存储数据时，将所述数据划分成至少两个对象，将每个所述对象存入所述存储资源池，为每个所述对象创建与所述存储资源池的逻辑块的映射关系，并按照每个所述对象的容量将所述物理块分配给与每个所述对象具有映射关系的逻辑块；

存储为每个所述对象创建的与所述存储资源池的逻辑块的映射关系。

一种分布式存储装置，包括：

构建存储资源池单元，用于将所有存储节点的物理存储空间切割成至少两个物理块，将所有所述物理块的集合映像成一个逻辑的存储资源池；

建立虚拟卷单元，用于在所述存储资源池上建立虚拟卷；

分配物理存储空间单元，用于当客户端在虚拟卷上存储数据时，将所述数据划分成至少两个对象，将每个所述对象写入所述存储资源池，为每个所述对象创建与所述存储资源池的逻辑块的映射关系，并按照每个所述对象的容量将所述物理块分配给与每个所述对象具有映射关系的逻辑块；

存储映射关系单元，用于存储为每个所述对象创建的与所述存储资源池的逻辑块的映射关系。

一种分布式存储系统，包括：至少一个客户端、至少一个存储节点和上述分布式存储装置。

本发明实施例中，对象存储在资源存储池中，物理存储空间只有当存储对象的时候，才分配给资源存储池，从而能够按照用户所需的物理存储空间，动态灵活的分配物理存储空间，从而提高了物理存储空间的利用率。

附图说明

图1是本发明实施例中分布式存储方法的一个实施例的流程示意图；

图2是本发明实施例中分布式存储装置的一个实施例的逻辑结构示意图；

图3是本发明实施例中分布式存储系统的一个实施例的逻辑结构示意图。

具体实施方式

本发明实施例提供一种分布式存储方法，本发明实施例还提供相应的分布式存储装置和分布式存储系统。以下分别进行详细说明。

请参阅图1，本发明实施例提供分布式存储方法的一个实施例，具体包括：

101、将所有存储节点的物理存储空间切割成至少两个物理块，将所有物理块的集合映像成一个逻辑的存储资源池；

目前存储系统为逻辑卷分配物理存储空间的过程是静态的，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，如果能够采用动态的方法按需分配物理存储空间，毫无疑问，将会极大地提高物理存储空间的利用率，从而在不增加成本的情况下增加存储系统的容量。而要采用动态的、按需分配的方法就必须将存储系统虚拟化。

本发明实施例所进行的存储虚拟化的第一步为：将所有存储节点的物理存储空间切割成至少两个物理块，将所有物理块的集合映像成一个逻辑的存储资源池，从而屏蔽了存储节点之间的差别，构建了一个统一的存储资源池。

需要说明的是，前述“所有存储节点的物理存储空间”指的是由每个存储节点的物理存储空间统一构成的总的物理存储空间。

构建存储资源池的具体过程可以为：首先将所有存储节点的物理存储空间划分成至少两个物理块，再将这些物理块映像成逻辑块，将这些逻辑块用一个数据结构组织起来，就能构建出一个逻辑的存储资源池。存储系统将所有存储节点的物理存储空间划分成至少两个物理块，具体可以为：将所有存储节点的物理存储空间划分成不等大的至少两个物理块；或者为了提高构建存储资源池的处理速度，将所有存储节点的物理存储空间划分成等大的至少两个物理块，例如将1TB的物理存储空间划分成1000个1GB的物理块，构建出的存储资源池里有1000个逻辑块，需要使用资源时，从存储资源池里挑选出逻辑块来使用。

102、在存储资源池上建立虚拟卷，并为虚拟卷中的每个虚拟块建立与存储资源池中的逻辑块之间的映射关系；

本发明实施例所进行的存储虚拟化的第二步为：在存储资源池上建立存储系统的虚拟卷，虚拟卷中的每个虚拟块与存储资源池中的逻辑块之间具有映射关系。

建立虚拟卷和逻辑卷之间的映射表，表示虚拟块到逻辑块(存储池中的块)的映射关系，但不分配物理存储空间，虚拟卷的建立使得存储系统不用在未存储时就预先为每个客户端提供物理存储空间，各个客户端看到的存储系统所提供的物理存储空间实际上是在虚拟卷上建立的虚拟磁盘。

103、将每个对象存入存储资源池，为每个对象创建与存储资源池的逻辑块的映射关系，并按照每个对象的容量将物理块分配给每个与对象具有映射关系的逻辑块；

当众多客户端中的某一个客户端在虚拟卷上存储数据时，将数据划分成至少两个对象，将每个对象存入存储资源池，为每个对象创建与存储资源池的逻辑块的映射关系，并按照每个对象的容量将物理块分配给每个与对象具有映射关系的逻辑块。

上述为逻辑块分配物理块的方式使得物理存储空间仅仅在使用时才分配，存储系统能够按照用户所需的物理存储空间，动态灵活的分配物理存储空间，被分配的物理存储空间不是固定不变的，提高了物理存储空间的利用率，并且上述为逻辑块分配物理块的方式还使得用户避免购买暂时不需要的存储设备，极大的节省了用户购买那些并不需要的空间所花费的预算开支和管理这些暂时不需要的空间的管理开支；同时，存储设备数量的减少也使得存储系统更加环保。

在本步骤中，为每个对象创建与存储资源池的逻辑块的映射关系，具体可以为：将对象划分成等大的粒度，比如8KB，建立一个映射表，每8KB对应映射表的一个表项，里面记录这个8KB映射到存储资源池的某个逻辑块上的某个8KB的数据上，比如，对象1的从8K开始到16KB的数据存储在存储资源池的逻辑块2上的第3个8KB上面。

104、存储为每个对象创建的与存储资源池的逻辑块的映射关系。

存储系统存储步骤103中为每个对象创建的与存储资源池的逻辑块的映射关系，每次对数据的操作都要获取为每个对象创建的与存储资源池的逻辑块的映射关系。

可选的，存储系统可以在存储资源池中存储为每个对象创建的与存储资源池的逻辑块的映射关系，也就是说，将为每个对象创建的与存储资源池的逻辑块的映射关系和每个对象存储在一起。

或者，可选的，存储系统还可以独立存储为每个对象创建的与存储资源池的逻辑块的映射关系，独立存储是指将为每个对象创建的与存储资源池的逻辑块的映射关系和数据存储在不同的物理存储空间，从而导致了数据的逻辑视图和物理视图被分开，在存储系统将为每个对象创建的与存储资源池的逻辑块的映射关系和每个对象存储在一起时，每次对数据的操作都要获取为每个对象创建的与存储资源池的逻辑块的映射关系。当操作频繁发生时，就成为整个存储系统的瓶颈，限制了存储系统的扩展性，而存储系统独立存储为每个对象创建的与存储资源池的逻辑块的映射关系，可以通过增加独立存储为每个对象创建的与存储资源池的逻辑块的映射关系的存储空间来解决存储系统的可扩展性问题，具体实现方式可以为：将为每个对象创建的与存储资源池的逻辑块的映射关系存储在另一个存储系统或者与存储资源池相互独立的同一存储系统的逻辑卷。

在本实施例中，对象存储在资源存储池中，物理存储空间只有当存储对象的时候，才分配给资源存储池，从而能够按照用户所需的物理存储空间，动态灵活的分配物理存储空间，提高了物理存储空间的利用率，而且由于在现有技术中对象是存储在文件系统上，相当于数据需要经由文件系统才能存储在磁盘上，而本实施例中，对象是存储在存储资源池上，直接就存储在磁盘上，去除了文件系统环节，减少了存储系统的复杂度。

在上述实施例中，当客户端访问数据时，存储系统中的操作系统可以根据为该数据的每个对象创建的与存储资源池的逻辑块的映射关系，获得该数据的每个对象位于存储资源池的具体位置，从而读取数据。

在上述实施例中，存储节点可以为存储域网络(SAN，Storage AreaNetwork)阵列中的存储设备，SAN阵列中的存储设备是智能设备，也可称之为基于对象的存储设备(OSD，Object-based Storage Device)，每个OSD具有自己的存储介质、处理器、内存以及网络系统，提供OSD对象接口，使得在数据的读写过程中，存储节点可以通过OSD对象接口和客户端直接通信，将为每个对象创建的与存储资源池的逻辑块的映射关系独立存储在元数据服务器(Metadata Server，MDS)中。每个对象创建的与存储资源池的逻辑块的映射关系即为元数据，元数据服务器为客户端提供数据的逻辑视图，包括目录构成、每个数据所对应的OSD等。在传统的SAN阵列中，元数据由SAN阵列中的文件服务器负责维护，每次对数据的操作都要获取元数据。当操作频繁发生时，元数据操作就成为整个存储系统的瓶颈，限制了性能的扩展。但是当SAN阵列中的存储设备为OSD，对外提供OSD对象接口，由于每次操作只有一次对元数据的访问，具体的数据传输都由OSD和客户端通过直接连接进行，大大减少了元数据的操作，降低了元数据服务器的负担，通过增加元数据服务器来解决SAN阵列的扩展性问题。

需要说明的是，存储节点也可以为网络存储设备(NAS，Network AttachedStorage)。

参阅图2，本发明实施例还提供分布式存储装置的一个实施例，本实施例中的分布式存储装置20可应用于上述实施例中，执行上述是实施例中的方法。

本实施例中的分布式存储装置20，包括：

构建存储资源池单元201，用于将所有存储节点的物理存储空间切割成至少两个物理块，将所有物理块的集合映像成一个逻辑的存储资源池；

建立虚拟卷单元202，用于在存储资源池上建立虚拟卷；

分配物理存储空间单元203，用于当客户端在虚拟卷上存储数据时，将数据划分成至少两个对象，将每个对象写入存储资源池，为每个对象创建与存储资源池的逻辑块的映射关系，并按照每个对象的容量将物理块分配给与每个对象具有映射关系的逻辑块；

存储映射关系单元204，用于存储为每个对象创建的与存储资源池的逻辑块的映射关系。

可选的，存储映射关系单元204具体用于独立存储为每个对象创建的与存储资源池的逻辑块的映射关系。

可选的，存储映射关系单元204具体用于将为每个对象创建的与存储资源池的逻辑块的映射关系存储在另一个存储系统或者与存储资源池相互独立的本存储系统的逻辑卷。

可选的，构建存储资源池单元201具体用于将所有存储节点的物理存储空间切割成至少两个等大的物理块，将每个物理块映射成逻辑块，所有的逻辑块用数据结构组织起来，构建出一个逻辑的存储资源池。

在本实施例中个，存储节点可以为存储域网络SAN阵列中的存储设备，且SAN阵列中的存储设备是基于对象的存储设备(OSD，Object-based StorageDevice)，对外提供OSD对象接口。

在本实施例中，分配物理存储空间单元203将对象存储在资源存储池中，且物理存储空间只有当存储对象的时候，才分配给资源存储池，从而能够按照用户所需的物理存储空间，动态灵活的分配物理存储空间，提高了物理存储空间的利用率。

参阅图3，本发明实施例还提供分布式存储系统的一个实施例，本实施例中的分布式存储系统可应用于上述实施例中，执行上述实施例中的方法。

本实施例中的分布式存储系统包括：至少一个客户端301、至少一个存储节点302和分布式存储装置303；

本实施例中的分布式存储装置303与上述实施例中的分布式存储装置20相同。

可选的，分布式存储系统还包括元数据服务器304，元数据服务器304用于独立存储分布式存储装置304为每个对象创建的与存储资源池的逻辑块的映射关系。

在本实施例提供的分布式存储系统中，元数据服务器304的数量可以为至少一个，这样就能够解决分布式存储系统系统的扩展性的问题。元数据服务器304和分布式存储装置303中的存储节点相互独立。

可选的，存储节点302具体为存储域网络SAN阵列中的存储设备，且SAN阵列中的存储设备是基于对象的存储设备OSD，对外提供OSD对象接口，在此应用场景下，元数据服务器304为客户端提供数据的逻辑视图，包括目录构成、每个数据所对应的OSD等，当客户端301访问对象时，首先向元数据服务器304发送请求，元数据服务器304根据反映对象到逻辑块的映射关系的元数据，将对象位于存储资源池的具体位置等信息发送给客户端301；此后根据对象位于存储资源池的具体位置，客户端301就直接向存储有该对象的存储节点302发送请求读写数据，不需要和元数据服务器304交互。

网络连接是存储系统的重要组成部分。它将客户端301、元数据服务器304和存储节点302连接起来。网络技术的不断进步使网络连接的方式有了更多选择。千兆以太网具有性能高、性价比高、易于管理等优点，因此成了构建存储系统的首选。随着光纤通道技术的成熟及成本的降低，应用也越来越广泛。此外，各种新的网络技术也不断出现，如Myrinet、Infiniband等网络技术，都具有较高的性能。尤其是Infiniband，不断扩展的性能使其具有很强的竞争力。

在本实施例中，分布式存储装置303可以将对象存储在资源存储池中，且物理存储空间只有当存储对象的时候，才分配给资源存储池，从而能够按照用户所需的物理存储空间，动态灵活的分配物理存储空间，提高了物理存储空间的利用率。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上对本发明实施例所提供的分布式存储方法、分布式存储装置和分布式存储系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种分布式存储方法，其特征在于，包括：

将所有存储节点的物理存储空间切割成至少两个物理块，将所有所述物理块的集合映像成一个逻辑的存储资源池；

在所述存储资源池上建立虚拟卷，并为虚拟卷中的每个虚拟块建立与存储资源池中的逻辑块之间的映射关系，但不分配物理存储空间；

当客户端在所述虚拟卷上存储数据时，将所述数据划分成至少两个对象，将每个所述对象存入所述存储资源池，为每个所述对象创建与所述存储资源池的逻辑块的映射关系，并按照每个所述对象的容量将所述物理块分配给与每个所述对象具有映射关系的逻辑块；

存储为每个所述对象创建的与所述存储资源池的逻辑块的映射关系。

2.根据权利要求1所述的方法，其特征在于，所述存储为每个所述对象创建的与所述存储资源池的逻辑块的映射关系的步骤，具体为：

独立存储为每个所述对象创建的与所述存储资源池的逻辑块的映射关系。

3.根据权利要求2所述的方法，其特征在于，

所述独立存储为每个所述对象创建的与所述存储资源池的逻辑块的映射关系的步骤，具体为：

将为每个所述对象创建的与所述存储资源池的逻辑块的映射关系存储在另一个存储系统；或者，

将为每个所述对象创建的与所述存储资源池的逻辑块的映射关系存储在与所述存储资源池相互独立的所述存储系统的逻辑卷。

4.根据权利要求2或3中任一项所述的方法，其特征在于，

所述存储节点为存储域网络SAN阵列中的存储设备，且所述SAN阵列中的存储设备是基于对象的存储设备OSD，对外提供OSD对象接口；

所述将每个所述对象存入所述存储资源池的步骤，具体为：

通过所述OSD对象接口将每个所述对象存入所述存储资源池。

5.根据权利要求4所述的方法，其特征在于，

所述将所有存储节点的物理存储空间切割成至少两个物理块，将所有所述物理块的集合映像成一个逻辑的存储资源池的步骤，具体为：

将所有存储节点的物理存储空间切割成至少两个物理块，将所述物理块映射成逻辑块，将所述逻辑块用数据结构组织起来，构建出一个逻辑的存储资源池。

6.一种分布式存储装置，其特征在于，包括：

构建存储资源池单元，用于将所有存储节点的物理存储空间切割成至少两个物理块，将所有所述物理块的集合映像成一个逻辑的存储资源池；

建立虚拟卷单元，用于在所述存储资源池上建立虚拟卷，并为虚拟卷中的每个虚拟块建立与存储资源池中的逻辑块之间的映射关系，但不分配物理存储空间；

分配物理存储空间单元，用于当客户端在虚拟卷上存储数据时，将所述数据划分成至少两个对象，将每个所述对象写入所述存储资源池，为每个所述对象创建与所述存储资源池的逻辑块的映射关系，并按照每个所述对象的容量将所述物理块分配给与每个所述对象具有映射关系的逻辑块；

存储映射关系单元，用于存储为每个所述对象创建的与所述存储资源池的逻辑块的映射关系。

7.根据权利要求6所述的分布式存储装置，其特征在于，

所述存储映射关系单元具体用于独立存储为每个所述对象创建的与所述存储资源池的逻辑块的映射关系。

8.根据权利要求7所述的分布式存储装置，其特征在于，

所述存储映射关系单元具体用于将为每个所述对象创建的与所述存储资源池的逻辑块的映射关系存储在另一个存储系统；或者，

所述存储映射关系单元具体用于将为每个所述对象创建的与所述存储资源池的逻辑块的映射关系存储在与所述存储资源池相互独立的所述存储系统的逻辑卷。

9.根据权利要求7或8所述的分布式存储装置，其特征在于，

所述存储节点具体为存储域网络SAN阵列中的存储设备，且所述SAN阵列中的存储设备是基于对象的存储设备OSD，对外提供OSD对象接口。

10.根据权利要求9所述的分布式存储装置，其特征在于，

所述构建存储资源池单元具体用于将所有存储节点的物理存储空间切割成至少两个等大的物理块，将所述物理块映射成逻辑块，所述逻辑块用数据结构组织起来，构建出一个逻辑的存储资源池。

11.一种分布式存储系统，其特征在于，包括：

至少一个客户端、至少一个存储节点、如权利要求6至10之一所述的分布式存储装置。

12.根据权利要求11所述的系统，其特征在于，

所述存储节点具体为存储域网络SAN阵列中的存储设备，且所述SAN阵列中的存储设备是基于对象的存储设备OSD，对外提供OSD对象接口。

Images