CN103929500A - 一种分布式存储系统的数据分片方法 - Google Patents
一种分布式存储系统的数据分片方法 Download PDFInfo
- Publication number
- CN103929500A CN103929500A CN201410189121.5A CN201410189121A CN103929500A CN 103929500 A CN103929500 A CN 103929500A CN 201410189121 A CN201410189121 A CN 201410189121A CN 103929500 A CN103929500 A CN 103929500A
- Authority
- CN
- China
- Prior art keywords
- node
- data
- physical
- space
- virtual disk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013467 fragmentation Methods 0.000 title claims abstract description 13
- 238000006062 fragmentation reaction Methods 0.000 title claims abstract description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 150000001875 compounds Chemical class 0.000 claims description 6
- 238000002679 ablation Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract 1
- 239000012634 fragment Substances 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式存储系统的数据分片方法，该方法是通过集群控制器监控物理节点状态和保证数据传输的正确性；通过一致性哈希算法将每个存储节点的物理空间进行统一管理，组成逻辑存储空间；通过多副本切片方式保证系统的可靠性。本发明存储容量更大且具有弹性，主机虚拟化的存储容量依赖于本机的资源，但一个主机由于硬件设计上的限制存储容量不会无限增大，而采用本分布式系统之后存储容量不再受主机存储容量的限制，可以随着客户的要求任意的增加存储资源或者减少存储资源，最大化的提高了系统的存储能力与弹性。
Description
技术领域
本发明涉及数据存储的技术领域，特别涉及一种分布式存储系统的数据分片方法。
背景技术
一个完整的存储系统至少要具备存储节点和控制节点，存储节点负责存放文件，控制节点作为文件索引，并负责监控存储节点间容量及负载的均衡，这2个部分合起来便组成一个存储系统。
传统的存储系统多采用串行架构，将存储节点和控制节点放在一台设备上，存储容量分配受到物理硬盘限制，当我们要部署新的存储设备扩容时。我们必须非常清楚这个存储设备是什么型号，什么接口和传输协议，必须清楚地知道存储系统中有多少块磁盘，分别是什么型号、多大容量，必须清楚存储设备和服务器之间采用什么样的连接线缆。为了保证数据安全和业务的连续性，我们还需要建立相应的数据备份系统和容灾系统。除此之外，对存储设备进行定期的状态监控、维护、软硬件更新和升级也是必须的。
传统存储系统存在采购成本高、系统封闭、维护性差、扩展性低、可用性受限等问题。如在需要进行系统扩容或者更换硬件时，通常需要停止服务并进行一系列的复杂操作才能成功；同时，由于架构上的局限性，传统存储仍然有几项重要的技术问题有待解决，例如单点故障问题、脑分裂问题等，使客户的数据存在丢失或者间断服务的风险。
存在以上缺点主要是因为传统的存储系统架构上的局限性，其将存储节点与控制节点部署在同一台设备上，即将软件与硬件设备捆绑提供存储服务，软件脱离了固有硬件无法在其他存储设备上运行，对硬件设备依赖性大，没有做到软硬件分离。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种分布式存储系统的数据分片方法。
为了达到上述目的，本发明采用以下技术方案：
一种分布式存储系统的数据分片方法，包括下述步骤：
S1、采用集群控制器管理多个节点，再将每个节点的物理存储资源进行汇总，同步至每个节点内存中进行记录；
S2、每台物理节点加入集群后，会对该节点的存储空间进行计算，之后计算出所有节点存储总和，将该节点存储容量除以全部节点的容量得到权重值，再用该权重值乘以默认虚节点个数，得到该节点的虚节点实际数目，再将该节点映射至虚节点列表中生成对应数目的虚节点；
S3、系统的分配空间请求根据负载均衡部分的一致性哈希算法得到物理节点的实际空间，具体为每个节点对应的虚节点作为哈希环中的元素，每个请求都计算哈希值，然后按顺序在哈希环上搜索节点，这样可以对存储空间进行实际的使用，每个读写请求都会首先通过虚拟磁盘来进行，虚拟磁盘将读写请求通过元数据提供的位置服务定位至具体的物理数据对象上，每个物理对象存在于不同的物理主机上，可以通过存有多个数据对象的副本来保证数据的可靠性；
优选的，每一个数据片切分成多个对象，并且数据对象又会创建多份副本，数据的读取过程如下：
(1)用户指定需要读取的虚拟磁盘名称、起始位置、长度等参数；
(2)系统根据虚拟磁盘名称计算虚拟编号，并在对象索引中搜索，如果不存在则直接失败返回；
(3)通过该虚拟磁盘编号计算对象编号，并通过计算哈希值与虚节点编号列表比对，从虚节点编号列表中获取固定副本数目的虚节点集合，并将该集合映射至物理节点中；
(4)如果节点与本机相同，则直接从本机获取数据对象并返回，如果不在本机则送至消息至目标节点，目标节点返回数据后逐级返回结果；
(5)如果目标节点读取失败，则从其它备选节点集群中读取数据，然后同步至损坏节点，之后逐级返回。
优选的，数据的写入过程为：
(1)用户指定需要写入的虚拟磁盘名称、起始位置、长度等参数；
(2)系统根据虚拟磁盘名称计算虚拟磁盘编号，并在对象索引中搜索，如果不存在则直接失败返回；
(3)通过该虚拟磁盘编号计算对象编号，并通过计算哈希值与虚节点编号列表比对，从虚节点编号列表中获取固定副本数目的虚节点集合，并将该集合映射至物理节点中；
(4)系统逐一向节点列表中的节点发送写入请求，全部返回成功后返回用户写结果，流程结束。
优选的，该存储系统包括集群控制器、空间分配模块以及空间管理模块，所述集群控制器、空间分配模块以及空间管理模块顺序连接；该系统通过集群控制器监控物理节点状态和保证数据传输的正确性；通过一致性哈希算法将每个存储节点的物理空间进行统一管理，组成逻辑存储空间；通过多副本切片方式保证系统的可靠性。
优选的，所述集群控制器，用于管理多个物理节点，再将每个物理节点的物理存储资源进行汇总，同步至每个节点内存中进行记录；
所述空间分配模块，根据负载均衡部分的一致性哈希算法得到物理节点的实际空间，这样可以对存储空间进行实际的使用，每个读写请求都会首先通过虚拟磁盘来进行，虚拟磁盘将读写请求通过元数据提供的位置服务定位至具体的物理数据对象上，每个物理对象存在于不同的物理主机上，可以通过存有多个数据对象的副本来保证数据的可靠性；
所述空间管理模块，空间管理模块是虚拟块存储子系统对外提供空间的管理模块，用于实现根据虚拟空间的创建、读写。
优选的，所述空间管理模块存储的数据交换由三个元素组成：偏移量、长度、数据，偏移量是针对本虚拟磁盘的位置，数据操作指针指向该数据块的偏移量位置，按照指定的数据长度，做数据写入或读取操作。
本发明相对于现有技术具有如下的优点及效果：
1、本发明存储容量更大且具有弹性，主机虚拟化的存储容量依赖于本机的资源，但一个主机由于硬件设计上的限制存储容量不会无限增大，而采用本分布式系统之后存储容量不再受主机存储容量的限制，可以随着客户的要求任意的增加存储资源或者减少存储资源，最大化的提高了系统的存储能力与弹性。
2、本发明具有更高的可用性主机虚拟化技术会由不可避免的硬件故障导致系统宕机，因为硬件随着时间与时间的推移，不可避免的会由于老旧或者线路故障导致中断服务。但是本分布式存储虚拟化技术，可以避免由于局部硬件设备损坏而影响系统的存取功能，因此具有更高的可用性。
附图说明
图1是本发明分布式虚拟化技术的控制结构图。
图2是本发明逻辑空间与数据块映射关系图。
图3是本发明逻辑空间与数据块映射流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
针对主机存储虚拟化的缺点，采用分布式的虚拟化技术则可以解决现存的问题，分布式虚拟化技术采用集群控制器管理多个节点，再将每个节点的物理存储资源进行汇总，同步至每个节点内存中进行记录，由此单独的主机虚拟化可以进行统一分配与使用，将物理空间变成一个弹性的逻辑上的空间。可以将逻辑上分散的、物理的资源虚拟化成一个完整的、逻辑资源，由用户按照任意(系统设计与实现也是有限制的)的大小来使用存储资源，空间管理的设计主要是将物理资源变成逻辑资源。内存中记录每个节点的空间，将所有空间相加做为完整的逻辑空间，使用统一的空间对外提供存储功能，每次业务请求都通过哈希计算获取键值，在哈希环上进行顺时针旋转找到对应的物理节点，对该物理节点进行数据的读写。相关原理请见图1。
每台物理节点加入集群后，会对该节点的存储空间进行计算，之后计算出所有节点存储总和同，是该节点除以全部节点的容量得到权重值，再用该权重值乘以默认虚节点个数，得到该节点的虚节点实际数目，再将该节点映射至虚节点列表中生成对应数目的虚节点。
系统的分配空间请求根据负载均衡部分的一致性哈希算法得到物理节点的实际空间，这样可以对存储空间进行实际的使用。每个读写请求都会首先通过虚拟磁盘来进行，虚拟磁盘将读写请求通过元数据提供的位置服务定位至具体的物理数据对象上，每个物理对象存在于不同的物理主机上，可以通过存有多个数据对象的副本来保证数据的可靠性。
空间管理模块的主要实现功能有虚拟空间的创建，读写等。空间管理模块是虚拟块存储子系统对外提供空间的管理模块，块存储的数据交换由三个元素组成：偏移量、长度、数据。偏移量是针对本虚拟磁盘的位置，数据操作指针指向该数据块的偏移量位置，按照指定的数据长度，做数据写入或读取操作。
一个完整的数据空间在空间管理模块内拆分成固定大小的数据块，每次读写请求是一块连续的数据，按照2M的倍数计算每字节数据的位置，分别对应到数据块中进行读写操作；相关原理请参见图2所示，图2逻辑空间与数据块映射关系。
如图3所示，每一个数据片会切分成多个数据对象，并且数据对象又会创建多份副本，所以数据的读写需要考虑同时并发的应用场景。
数据读取的过程如下：
(1)用户指定需要读取的虚拟磁盘名称、起始位置、长度等参数；
(2)系统根据虚拟磁盘名称计算虚拟磁盘编号，并在对象索引中搜索，如果不存在则直接失败返回；
(3)通过该虚拟磁盘编号计算对象编号，并通过计算哈希值与虚节点编号列表比对，从虚节点编号列表中获取固定副本数目的虚节点集合，并将该集合映射至物理节点中；
(4)如果节点与本机相同，则直接从本机获取数据对象并返回，如果不在本机则送至消息至目标节点，目标节点返回数据后逐级返回结果。
(5)如果目标节点读取失败，则从其它备选节点集群中读取数据，然后同步至损坏节点，之后逐级返回。
由以上第(5)条可以看到，当系统中的某部分数据对象丢失时，不会影响数据的读取操作的成功，系统会从完整节点的位置读取数据同步至丢失数据的节点，但是这个修复的过程会占用一定的响应是时间。
数据写入与读取不同，读取数据要求尽最大可能快速的读取到数据，而数据写入要做到强一致性，即将数据全部写入每一个对象编号所在的目标节点时才会返回成功，其它方面与数据读取类似，具体流程如下：
(1)用户指定需要写入的虚拟磁盘名称、起始位置、长度等参数；
(2)系统根据虚拟磁盘名称计算虚拟磁盘编号，并在对象索引中搜索，如果不存在则直接失败返回；
(3)通过该虚拟磁盘编号计算对象编号，并通过计算哈希值与虚节点编号列表比对，从虚节点编号列表中获取固定副本数目的虚节点集合，并将该集合映射至物理节点中；
(4)系统逐一向节点列表中的节点发送写入请求，全部返回成功后返回用户写结果，流程结束。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (6)
1.一种分布式存储系统的数据分片方法，其特征在于，包括下述步骤：
S1、采用集群控制器管理多个节点，再将每个节点的物理存储资源进行汇总，同步至每个节点内存中进行记录；
S2、每台物理节点加入集群后，会对该节点的存储空间进行计算，之后计算出所有节点存储总和，将该节点存储容量除以全部节点的容量得到权重值，再用该权重值乘以默认虚节点个数，得到该节点的虚节点实际数目，再将该节点映射至虚节点列表中生成对应数目的虚节点；
S3、系统的分配空间请求根据负载均衡部分的一致性哈希算法得到物理节点的实际空间，具体为每个节点对应的虚节点作为哈希环中的元素，每个请求都计算哈希值，然后按顺序在哈希环上搜索节点，这样可以对存储空间进行实际的使用，每个读写请求都会首先通过虚拟磁盘来进行，虚拟磁盘将读写请求通过元数据提供的位置服务定位至具体的物理数据对象上，每个物理对象存在于不同的物理主机上，可以通过存有多个数据对象的副本来保证数据的可靠性。
2.根据权利要求1所述的分布式存储系统数据分片方法，其特征在于，每一个数据片切分成多个对象，并且数据对象又会创建多份副本，数据的读取过程如下：
(1)用户指定需要读取的虚拟磁盘名称、起始位置、长度参数；
(2)系统根据虚拟磁盘名称计算虚拟编号，并在对象索引中搜索，如果不存在则直接失败返回；
(3)通过该虚拟磁盘编号计算对象编号，并通过计算哈希值与虚节点编号列表比对，从虚节点编号列表中获取固定副本数目的虚节点集合，并将该集合映射至物理节点中；
(4)如果节点与本机相同，则直接从本机获取数据对象并返回，如果不在本机则送至消息至目标节点，目标节点返回数据后逐级返回结果；
(5)如果目标节点读取失败，则从其它备选节点集群中读取数据，然后同步至损坏节点，之后逐级返回。
3.根据权利要求1所述的分布式存储系统数据分片方法，其特征在于，数据的写入过程为：
(1)用户指定需要写入的虚拟磁盘名称、起始位置、长度参数；
(2)系统根据虚拟磁盘名称计算虚拟磁盘编号，并在对象索引中搜索，如果不存在则直接失败返回；
(3)通过该虚拟磁盘编号计算对象编号，并通过计算哈希值与虚节点编号列表比对，从虚节点编号列表中获取固定副本数目的虚节点集合，并将该集合映射至物理节点中；
(4)系统逐一向节点列表中的节点发送写入请求，全部返回成功后返回用户写结果，流程结束。
4.根据权利要求1所述的分布式存储系统数据分片方法，其特征在于，该存储系统包括集群控制器、空间分配模块以及空间管理模块，所述集群控制器、空间分配模块以及空间管理模块顺序连接；该系统通过集群控制器监控物理节点状态和保证数据传输的正确性；通过一致性哈希算法将每个存储节点的物理空间进行统一管理，组成逻辑存储空间；通过多副本切片方式保证系统的可靠性。
5.根据权利要求4所述的分布式存储系统数据分片方法，其特征在于，所述集群控制器，用于管理多个物理节点，再将每个物理节点的物理存储资源进行汇总，同步至每个节点内存中进行记录；
所述空间分配模块，根据负载均衡部分的一致性哈希算法得到物理节点的实际空间，这样可以对存储空间进行实际的使用，每个读写请求都会首先通过虚拟磁盘来进行，虚拟磁盘将读写请求通过元数据提供的位置服务定位至具体的物理数据对象上，每个物理对象存在于不同的物理主机上，可以通过存有多个数据对象的副本来保证数据的可靠性；
所述空间管理模块，空间管理模块是虚拟块存储子系统对外提供空间的管理模块，用于实现根据虚拟空间的创建、读写。
6.根据权利要求4所述的分布式存储系统数据分片方法，其特征在于，所述空间管理模块存储的数据交换由三个元素组成：偏移量、长度、数据，偏移量是针对本虚拟磁盘的位置，数据操作指针指向该数据块的偏移量位置，按照指定的数据长度，做数据写入或读取操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410189121.5A CN103929500A (zh) | 2014-05-06 | 2014-05-06 | 一种分布式存储系统的数据分片方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410189121.5A CN103929500A (zh) | 2014-05-06 | 2014-05-06 | 一种分布式存储系统的数据分片方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103929500A true CN103929500A (zh) | 2014-07-16 |
Family
ID=51147572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410189121.5A Pending CN103929500A (zh) | 2014-05-06 | 2014-05-06 | 一种分布式存储系统的数据分片方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103929500A (zh) |
Cited By (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104270458A (zh) * | 2014-10-17 | 2015-01-07 | 浪潮(北京)电子信息产业有限公司 | 一种实现云存储系统数据分布管理的方法及装置 |
| CN105989140A (zh) * | 2015-02-27 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 一种数据块处理方法和设备 |
| CN106503010A (zh) * | 2015-09-07 | 2017-03-15 | 北京国双科技有限公司 | 一种数据库更改写入分区的方法及装置 |
| CN106776001A (zh) * | 2016-11-14 | 2017-05-31 | 天津南大通用数据技术股份有限公司 | 一种分布式数据库集群数据的分布方法及装置 |
| CN106844487A (zh) * | 2016-12-23 | 2017-06-13 | 航天星图科技（北京）有限公司 | 一种基于库复制的分布式存储系统 |
| CN106936899A (zh) * | 2017-02-25 | 2017-07-07 | 九次方大数据信息集团有限公司 | 分布式统计分析系统的配置方法及分布式统计分析系统 |
| CN106980540A (zh) * | 2017-03-07 | 2017-07-25 | 清华大学 | 一种分布式多维离散数据的计算方法 |
| CN106991170A (zh) * | 2017-04-01 | 2017-07-28 | 广东浪潮大数据研究有限公司 | 一种分布式文件容量均衡的方法与装置 |
| CN107018185A (zh) * | 2017-03-28 | 2017-08-04 | 清华大学 | 云存储系统的同步方法和装置 |
| CN107154966A (zh) * | 2017-04-24 | 2017-09-12 | 浙江宇视科技有限公司 | 一种视频数据写入方法以及装置 |
| CN107168649A (zh) * | 2017-05-05 | 2017-09-15 | 南京城市职业学院 | 一种分布式存储系统中数据分布的方法及装置 |
| CN107256132A (zh) * | 2017-06-21 | 2017-10-17 | 桂林电子科技大学 | 一种基于性能测试的异构Redis集群存储分配方法 |
| CN107273040A (zh) * | 2016-04-08 | 2017-10-20 | 北京优朋普乐科技有限公司 | 数据缓存方法和装置 |
| CN107346307A (zh) * | 2016-05-04 | 2017-11-14 | 北京京东尚科信息技术有限公司 | 分布式缓存系统及方法 |
| CN107357522A (zh) * | 2014-11-05 | 2017-11-17 | 华为技术有限公司 | 数据处理方法和装置 |
| CN107577434A (zh) * | 2017-09-14 | 2018-01-12 | 郑州云海信息技术有限公司 | 存储节点的容量获取方法、装置、设备及可读存储介质 |
| CN107608632A (zh) * | 2017-09-21 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种分布式存储集群的通信方法、装置及系统 |
| CN107623719A (zh) * | 2017-08-17 | 2018-01-23 | 深圳市优品壹电子有限公司 | 数据获取方法及装置 |
| CN107634853A (zh) * | 2017-08-28 | 2018-01-26 | 深圳市云舒网络技术有限公司 | 一种基于对象存储的可定制化分布式缓存方法 |
| CN107656697A (zh) * | 2016-07-26 | 2018-02-02 | 阿里巴巴集团控股有限公司 | 一种在存储介质上操作数据的方法和装置 |
| CN107948233A (zh) * | 2016-10-13 | 2018-04-20 | 华为技术有限公司 | 处理写请求或读请求的方法、交换机、控制节点 |
| CN108052655A (zh) * | 2017-12-28 | 2018-05-18 | 新华三技术有限公司 | 数据写入及读取方法 |
| CN109165262A (zh) * | 2018-10-16 | 2019-01-08 | 成都索贝数码科技股份有限公司 | 一种关系型大表的分片集群系统及其分片方法 |
| CN109327539A (zh) * | 2018-11-15 | 2019-02-12 | 上海天玑数据技术有限公司 | 一种分布式块存储系统及其数据路由方法 |
| CN109416620A (zh) * | 2016-05-04 | 2019-03-01 | 净睿存储股份有限公司 | 存储集群 |
| CN109635948A (zh) * | 2018-12-19 | 2019-04-16 | 北京达佳互联信息技术有限公司 | 在线训练方法、装置、系统及计算机可读存储介质 |
| CN109726600A (zh) * | 2017-10-31 | 2019-05-07 | 伊姆西Ip控股有限责任公司 | 针对超融合基础设施提供数据保护的系统和方法 |
| CN110046160A (zh) * | 2019-03-15 | 2019-07-23 | 中国科学院计算技术研究所 | 一种基于条带的一致性哈希存储系统构建方法 |
| CN110169040A (zh) * | 2018-07-10 | 2019-08-23 | 深圳花儿数据技术有限公司 | 基于多层一致性哈希的分布式数据存储方法与系统 |
| CN110324429A (zh) * | 2019-07-10 | 2019-10-11 | 中国工商银行股份有限公司 | 基于分布式数据存储的备份方法及备份装置 |
| CN110321374A (zh) * | 2018-10-23 | 2019-10-11 | 开采夫(杭州)科技有限公司 | 基于分布式网络的标准文件io操作系统及方法 |
| CN110334091A (zh) * | 2019-05-09 | 2019-10-15 | 重庆天蓬网络有限公司 | 一种数据分片分布式处理方法、系统、介质和电子设备 |
| CN111090687A (zh) * | 2019-12-24 | 2020-05-01 | 腾讯科技（深圳）有限公司 | 数据处理方法及装置、系统、计算机可读存储介质 |
| CN111125253A (zh) * | 2019-12-22 | 2020-05-08 | 北京浪潮数据技术有限公司 | 一种数据同步方法、装置、设备及存储介质 |
| CN111147546A (zh) * | 2019-11-29 | 2020-05-12 | 中科院计算技术研究所大数据研究院 | 一种边缘集群资源的处理方法及系统 |
| CN111309262A (zh) * | 2020-02-16 | 2020-06-19 | 西安奥卡云数据科技有限公司 | 一种分布式存储缓存读取和写入方法 |
| CN111756828A (zh) * | 2020-06-19 | 2020-10-09 | 广东浪潮大数据研究有限公司 | 一种数据存储方法、装置及设备 |
| CN112083892A (zh) * | 2020-09-25 | 2020-12-15 | 上海依图网络科技有限公司 | 一种数据存储方法、装置、设备和介质 |
| WO2021003935A1 (zh) * | 2019-07-11 | 2021-01-14 | 平安科技（深圳）有限公司 | 数据集群存储的方法、装置及计算机设备 |
| CN112383628A (zh) * | 2020-11-16 | 2021-02-19 | 北京中电兴发科技有限公司 | 一种基于流式存储的存储网关资源分配方法 |
| CN112422611A (zh) * | 2020-09-11 | 2021-02-26 | 深圳市证通电子股份有限公司 | 基于分布式对象存储的虚拟桶存储处理方法和系统 |
| CN113688115A (zh) * | 2021-08-29 | 2021-11-23 | 中盾创新档案管理(北京)有限公司 | 一种基于Hadoop的档案大数据分布式存储系统 |
| CN114647388A (zh) * | 2022-05-24 | 2022-06-21 | 杭州优云科技有限公司 | 一种高性能分布式块存储系统和管理方法 |
| CN114776176A (zh) * | 2022-05-24 | 2022-07-22 | 中欣链证数字科技有限公司 | 一种贵金属存储方法、装置、设备及系统 |
| CN116521668A (zh) * | 2022-01-21 | 2023-08-01 | 戴尔产品有限公司 | 用于数据存储的方法、设备和计算机程序产品 |
| CN118606327A (zh) * | 2024-08-08 | 2024-09-06 | 芯云晟(杭州)电子科技有限公司 | 弹性哈希表的处理方法、装置、设备及介质 |
| US12101379B2 (en) | 2014-06-04 | 2024-09-24 | Pure Storage, Inc. | Multilevel load balancing |
| US12141449B2 (en) | 2014-06-04 | 2024-11-12 | Pure Storage, Inc. | Distribution of resources for a storage system |
| US12212624B2 (en) | 2014-06-04 | 2025-01-28 | Pure Storage, Inc. | Independent communication pathways |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101984632A (zh) * | 2010-11-15 | 2011-03-09 | 中兴通讯股份有限公司 | 一种分布式缓存系统中负荷分配方法、装置及服务器 |
| CN101997918A (zh) * | 2010-11-11 | 2011-03-30 | 清华大学 | 异构san环境中的海量存储资源按需分配的实现方法 |
| CN102457571A (zh) * | 2011-09-15 | 2012-05-16 | 中标软件有限公司 | 一种云存储中数据均衡分布方法 |
| CN102999571A (zh) * | 2012-11-09 | 2013-03-27 | 深圳市宜搜科技发展有限公司 | 一种集群中单机多节点的实现方法 |
| CN103124299A (zh) * | 2013-03-21 | 2013-05-29 | 杭州电子科技大学 | 一种异构环境下的分布式块级别存储系统 |
| CN103229151A (zh) * | 2012-12-27 | 2013-07-31 | 华为技术有限公司 | 一种分区扩展方法及装置 |
-
2014
- 2014-05-06 CN CN201410189121.5A patent/CN103929500A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101997918A (zh) * | 2010-11-11 | 2011-03-30 | 清华大学 | 异构san环境中的海量存储资源按需分配的实现方法 |
| CN101984632A (zh) * | 2010-11-15 | 2011-03-09 | 中兴通讯股份有限公司 | 一种分布式缓存系统中负荷分配方法、装置及服务器 |
| CN102457571A (zh) * | 2011-09-15 | 2012-05-16 | 中标软件有限公司 | 一种云存储中数据均衡分布方法 |
| CN102999571A (zh) * | 2012-11-09 | 2013-03-27 | 深圳市宜搜科技发展有限公司 | 一种集群中单机多节点的实现方法 |
| CN103229151A (zh) * | 2012-12-27 | 2013-07-31 | 华为技术有限公司 | 一种分区扩展方法及装置 |
| CN103124299A (zh) * | 2013-03-21 | 2013-05-29 | 杭州电子科技大学 | 一种异构环境下的分布式块级别存储系统 |
Cited By (74)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12101379B2 (en) | 2014-06-04 | 2024-09-24 | Pure Storage, Inc. | Multilevel load balancing |
| US12141449B2 (en) | 2014-06-04 | 2024-11-12 | Pure Storage, Inc. | Distribution of resources for a storage system |
| US12212624B2 (en) | 2014-06-04 | 2025-01-28 | Pure Storage, Inc. | Independent communication pathways |
| CN104270458A (zh) * | 2014-10-17 | 2015-01-07 | 浪潮(北京)电子信息产业有限公司 | 一种实现云存储系统数据分布管理的方法及装置 |
| CN107357522B (zh) * | 2014-11-05 | 2019-11-15 | 华为技术有限公司 | 数据处理方法和装置 |
| US10628050B2 (en) | 2014-11-05 | 2020-04-21 | Huawei Technologies Co., Ltd. | Data processing method and apparatus |
| CN107357522A (zh) * | 2014-11-05 | 2017-11-17 | 华为技术有限公司 | 数据处理方法和装置 |
| CN105989140A (zh) * | 2015-02-27 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 一种数据块处理方法和设备 |
| CN105989140B (zh) * | 2015-02-27 | 2019-09-03 | 阿里巴巴集团控股有限公司 | 一种数据块处理方法和设备 |
| CN106503010A (zh) * | 2015-09-07 | 2017-03-15 | 北京国双科技有限公司 | 一种数据库更改写入分区的方法及装置 |
| CN107273040A (zh) * | 2016-04-08 | 2017-10-20 | 北京优朋普乐科技有限公司 | 数据缓存方法和装置 |
| CN109416620B (zh) * | 2016-05-04 | 2022-05-10 | 净睿存储股份有限公司 | 存储集群 |
| CN107346307A (zh) * | 2016-05-04 | 2017-11-14 | 北京京东尚科信息技术有限公司 | 分布式缓存系统及方法 |
| CN109416620A (zh) * | 2016-05-04 | 2019-03-01 | 净睿存储股份有限公司 | 存储集群 |
| CN107656697A (zh) * | 2016-07-26 | 2018-02-02 | 阿里巴巴集团控股有限公司 | 一种在存储介质上操作数据的方法和装置 |
| CN107948233A (zh) * | 2016-10-13 | 2018-04-20 | 华为技术有限公司 | 处理写请求或读请求的方法、交换机、控制节点 |
| CN107948233B (zh) * | 2016-10-13 | 2021-01-08 | 华为技术有限公司 | 处理写请求或读请求的方法、交换机、控制节点 |
| CN106776001A (zh) * | 2016-11-14 | 2017-05-31 | 天津南大通用数据技术股份有限公司 | 一种分布式数据库集群数据的分布方法及装置 |
| CN106844487A (zh) * | 2016-12-23 | 2017-06-13 | 航天星图科技（北京）有限公司 | 一种基于库复制的分布式存储系统 |
| CN106936899A (zh) * | 2017-02-25 | 2017-07-07 | 九次方大数据信息集团有限公司 | 分布式统计分析系统的配置方法及分布式统计分析系统 |
| CN106980540A (zh) * | 2017-03-07 | 2017-07-25 | 清华大学 | 一种分布式多维离散数据的计算方法 |
| CN107018185A (zh) * | 2017-03-28 | 2017-08-04 | 清华大学 | 云存储系统的同步方法和装置 |
| CN106991170A (zh) * | 2017-04-01 | 2017-07-28 | 广东浪潮大数据研究有限公司 | 一种分布式文件容量均衡的方法与装置 |
| CN107154966A (zh) * | 2017-04-24 | 2017-09-12 | 浙江宇视科技有限公司 | 一种视频数据写入方法以及装置 |
| CN107168649A (zh) * | 2017-05-05 | 2017-09-15 | 南京城市职业学院 | 一种分布式存储系统中数据分布的方法及装置 |
| CN107168649B (zh) * | 2017-05-05 | 2019-12-17 | 南京城市职业学院 | 一种分布式存储系统中数据分布的方法及装置 |
| CN107256132A (zh) * | 2017-06-21 | 2017-10-17 | 桂林电子科技大学 | 一种基于性能测试的异构Redis集群存储分配方法 |
| CN107256132B (zh) * | 2017-06-21 | 2019-12-10 | 桂林电子科技大学 | 一种基于性能测试的异构Redis集群存储分配方法 |
| CN107623719A (zh) * | 2017-08-17 | 2018-01-23 | 深圳市优品壹电子有限公司 | 数据获取方法及装置 |
| CN107634853A (zh) * | 2017-08-28 | 2018-01-26 | 深圳市云舒网络技术有限公司 | 一种基于对象存储的可定制化分布式缓存方法 |
| CN107577434A (zh) * | 2017-09-14 | 2018-01-12 | 郑州云海信息技术有限公司 | 存储节点的容量获取方法、装置、设备及可读存储介质 |
| CN107608632B (zh) * | 2017-09-21 | 2021-02-02 | 苏州浪潮智能科技有限公司 | 一种分布式存储集群的通信方法、装置及系统 |
| CN107608632A (zh) * | 2017-09-21 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种分布式存储集群的通信方法、装置及系统 |
| CN109726600A (zh) * | 2017-10-31 | 2019-05-07 | 伊姆西Ip控股有限责任公司 | 针对超融合基础设施提供数据保护的系统和方法 |
| CN109726600B (zh) * | 2017-10-31 | 2023-07-14 | 伊姆西Ip控股有限责任公司 | 针对超融合基础设施提供数据保护的系统和方法 |
| CN108052655B (zh) * | 2017-12-28 | 2020-11-10 | 新华三技术有限公司 | 数据写入及读取方法 |
| CN108052655A (zh) * | 2017-12-28 | 2018-05-18 | 新华三技术有限公司 | 数据写入及读取方法 |
| WO2020010503A1 (zh) * | 2018-07-10 | 2020-01-16 | 深圳花儿数据技术有限公司 | 基于多层一致性哈希的分布式数据存储方法与系统 |
| CN110169040A (zh) * | 2018-07-10 | 2019-08-23 | 深圳花儿数据技术有限公司 | 基于多层一致性哈希的分布式数据存储方法与系统 |
| CN110169040B (zh) * | 2018-07-10 | 2021-09-28 | 深圳花儿数据技术有限公司 | 基于多层一致性哈希的分布式数据存储方法与系统 |
| US11461203B2 (en) | 2018-07-10 | 2022-10-04 | Here Data Technology | Systems and methods of handling node failure in a distributed data storage using multi-layer consistent hashing |
| CN109165262A (zh) * | 2018-10-16 | 2019-01-08 | 成都索贝数码科技股份有限公司 | 一种关系型大表的分片集群系统及其分片方法 |
| CN109165262B (zh) * | 2018-10-16 | 2022-05-10 | 成都索贝数码科技股份有限公司 | 一种关系型大表的分片集群系统及其分片方法 |
| CN110321374A (zh) * | 2018-10-23 | 2019-10-11 | 开采夫(杭州)科技有限公司 | 基于分布式网络的标准文件io操作系统及方法 |
| CN110321374B (zh) * | 2018-10-23 | 2022-03-25 | 开采夫(杭州)科技有限公司 | 基于分布式网络的标准文件io操作系统及方法 |
| CN109327539A (zh) * | 2018-11-15 | 2019-02-12 | 上海天玑数据技术有限公司 | 一种分布式块存储系统及其数据路由方法 |
| CN109635948A (zh) * | 2018-12-19 | 2019-04-16 | 北京达佳互联信息技术有限公司 | 在线训练方法、装置、系统及计算机可读存储介质 |
| CN110046160A (zh) * | 2019-03-15 | 2019-07-23 | 中国科学院计算技术研究所 | 一种基于条带的一致性哈希存储系统构建方法 |
| CN110334091A (zh) * | 2019-05-09 | 2019-10-15 | 重庆天蓬网络有限公司 | 一种数据分片分布式处理方法、系统、介质和电子设备 |
| CN110324429A (zh) * | 2019-07-10 | 2019-10-11 | 中国工商银行股份有限公司 | 基于分布式数据存储的备份方法及备份装置 |
| WO2021003935A1 (zh) * | 2019-07-11 | 2021-01-14 | 平安科技（深圳）有限公司 | 数据集群存储的方法、装置及计算机设备 |
| CN111147546B (zh) * | 2019-11-29 | 2021-05-14 | 中科院计算技术研究所大数据研究院 | 一种边缘集群资源的处理方法及系统 |
| CN111147546A (zh) * | 2019-11-29 | 2020-05-12 | 中科院计算技术研究所大数据研究院 | 一种边缘集群资源的处理方法及系统 |
| CN111125253A (zh) * | 2019-12-22 | 2020-05-08 | 北京浪潮数据技术有限公司 | 一种数据同步方法、装置、设备及存储介质 |
| CN111090687B (zh) * | 2019-12-24 | 2023-03-10 | 腾讯科技（深圳）有限公司 | 数据处理方法及装置、系统、计算机可读存储介质 |
| CN111090687A (zh) * | 2019-12-24 | 2020-05-01 | 腾讯科技（深圳）有限公司 | 数据处理方法及装置、系统、计算机可读存储介质 |
| CN111309262B (zh) * | 2020-02-16 | 2021-01-29 | 西安奥卡云数据科技有限公司 | 一种分布式存储缓存读取和写入方法 |
| CN111309262A (zh) * | 2020-02-16 | 2020-06-19 | 西安奥卡云数据科技有限公司 | 一种分布式存储缓存读取和写入方法 |
| CN111756828B (zh) * | 2020-06-19 | 2023-07-14 | 广东浪潮大数据研究有限公司 | 一种数据存储方法、装置及设备 |
| CN111756828A (zh) * | 2020-06-19 | 2020-10-09 | 广东浪潮大数据研究有限公司 | 一种数据存储方法、装置及设备 |
| CN112422611A (zh) * | 2020-09-11 | 2021-02-26 | 深圳市证通电子股份有限公司 | 基于分布式对象存储的虚拟桶存储处理方法和系统 |
| CN112422611B (zh) * | 2020-09-11 | 2023-04-18 | 深圳市证通电子股份有限公司 | 基于分布式对象存储的虚拟桶存储处理方法和系统 |
| CN112083892A (zh) * | 2020-09-25 | 2020-12-15 | 上海依图网络科技有限公司 | 一种数据存储方法、装置、设备和介质 |
| CN112083892B (zh) * | 2020-09-25 | 2021-05-18 | 上海依图网络科技有限公司 | 一种数据存储方法、装置、设备和介质 |
| CN112383628A (zh) * | 2020-11-16 | 2021-02-19 | 北京中电兴发科技有限公司 | 一种基于流式存储的存储网关资源分配方法 |
| CN113688115B (zh) * | 2021-08-29 | 2024-02-20 | 中盾创新数字科技(北京)有限公司 | 一种基于Hadoop的档案大数据分布式存储系统 |
| CN113688115A (zh) * | 2021-08-29 | 2021-11-23 | 中盾创新档案管理(北京)有限公司 | 一种基于Hadoop的档案大数据分布式存储系统 |
| CN116521668A (zh) * | 2022-01-21 | 2023-08-01 | 戴尔产品有限公司 | 用于数据存储的方法、设备和计算机程序产品 |
| CN114647388B (zh) * | 2022-05-24 | 2022-08-12 | 杭州优云科技有限公司 | 一种分布式块存储系统和管理方法 |
| CN114776176A (zh) * | 2022-05-24 | 2022-07-22 | 中欣链证数字科技有限公司 | 一种贵金属存储方法、装置、设备及系统 |
| CN114647388A (zh) * | 2022-05-24 | 2022-06-21 | 杭州优云科技有限公司 | 一种高性能分布式块存储系统和管理方法 |
| CN114776176B (zh) * | 2022-05-24 | 2024-05-14 | 北京金玖银玖数字科技有限公司 | 一种贵金属存储方法、装置、设备及系统 |
| CN118606327A (zh) * | 2024-08-08 | 2024-09-06 | 芯云晟(杭州)电子科技有限公司 | 弹性哈希表的处理方法、装置、设备及介质 |
| CN118606327B (zh) * | 2024-08-08 | 2024-12-06 | 芯云晟(杭州)电子科技有限公司 | 弹性哈希表的处理方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103929500A (zh) | 一种分布式存储系统的数据分片方法 | |
| US10956601B2 (en) | Fully managed account level blob data encryption in a distributed storage environment | |
| US11675503B1 (en) | Role-based data access | |
| US20210019067A1 (en) | Data deduplication across storage systems | |
| US9424151B2 (en) | Disk failure recovery for virtual disk with policies | |
| US10659225B2 (en) | Encrypting existing live unencrypted data using age-based garbage collection | |
| US20180024964A1 (en) | Disaggregated compute resources and storage resources in a storage system | |
| US12373239B2 (en) | Transitioning volumes between storage virtual machines | |
| US20160004450A1 (en) | Storage system with virtual disks | |
| US20160004480A1 (en) | Storage system with virtual disks | |
| US20160004451A1 (en) | Storage system with virtual disks | |
| US20160004449A1 (en) | Storage system with virtual disks | |
| US20160004466A1 (en) | Convergence of multiple application protocols onto a single storage platform | |
| US20160004603A1 (en) | Storage system with virtual disks | |
| US9984139B1 (en) | Publish session framework for datastore operation records | |
| WO2016004120A2 (en) | Storage system with virtual disks | |
| CN103942112A (zh) | 磁盘容错方法、装置及系统 | |
| CN103037004A (zh) | 云存储系统操作的实现方法和装置 | |
| US11079960B2 (en) | Object storage system with priority meta object replication | |
| US11372807B2 (en) | Converting storage objects between formats in a copy-free transition | |
| US20230205591A1 (en) | System Having Dynamic Power Management | |
| US12430245B2 (en) | Data reduction in a cloud-based storage system | |
| US9513996B2 (en) | Information processing apparatus, computer-readable recording medium having stored program for controlling information processing apparatus, and method for controlling information processing apparatus | |
| US11093465B2 (en) | Object storage system with versioned meta objects | |
| US11074002B2 (en) | Object storage system with meta object replication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140716 |