CN104102709A - 一种磁盘管理方法及数据库管理系统 - Google Patents
一种磁盘管理方法及数据库管理系统 Download PDFInfo
- Publication number
- CN104102709A CN104102709A CN201410334185.XA CN201410334185A CN104102709A CN 104102709 A CN104102709 A CN 104102709A CN 201410334185 A CN201410334185 A CN 201410334185A CN 104102709 A CN104102709 A CN 104102709A
- Authority
- CN
- China
- Prior art keywords
- physical
- disk
- segment
- physical disk
- dbms
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种磁盘管理方法及数据库管理系统,该方法包括:数据库管理系统DBMS向操作系统获取磁盘管理权限;根据预设的策略将物理磁盘划分为若干个物理盘区,再将所有划分出来的物理盘区组成一个或多个物理卷,将每个物理卷划分为一个或多个不同类型的段,在所述段上建立日志式文件系统,并对所述日志式文件系统进行分类,分别将不同类型的数据文件存储与对应类型的日志式文件系统中。本发明由DBMS直接管理物理磁盘,可以加快数据的读写速度,增强数据库IO性能,同时也方便磁盘的数据的恢复,数据文件分别独立存储于对应类型的文件系统中,相互隔离,增强了DBMS系统的安全性。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种磁盘管理方法及数据库管理系统。
背景技术
随着IT信息化的快速发展,数据的处理和存储更加重要。数据库管理系统(Database Management System,简称DBMS)在企业级信息化系统中非常重要。随着企业级信息系统中数据量飞快的增加,数据库的性能和IO性能关系非常大。
目前数据库的存储管理通过操作系统提出的接口而实现,大大降低了数据的读写速度以及数据库的IO性能,并且当数据被恢复时,也需要较长时间。在操作系统层面进行IO的调优,也比较复杂。
发明内容
本发明需要解决的技术问题是提供一种磁盘管理方法及数据库管理系统,提高数据的读写速度以及数据库的IO性能,并且方便恢复数据。
为了解决上述技术问题,本发明提供了一种磁盘管理方法,包括:
数据库管理系统DBMS向操作系统获取磁盘管理权限;
根据预设的策略将物理磁盘划分为若干个物理盘区,再将所有划分出来的物理盘区组成一个或多个物理卷。
进一步地,所述方法还包括:在所述DBMS新增一驱动模块,所述DBMS向操作系统获取磁盘管理权限,包括:
所述DBMS通过所述驱动模块调用所述操作系统提供的底层结构体对象接口,以获取磁盘管理权限。
进一步地,所述预设的策略,包括:
预先设置物理盘区的大小,将物理磁盘划分大小相等的物理盘区;或者,
预先设置划分的物理盘区的总个数N,将物理磁盘划分为N个物理盘区,每个物理盘区的大小相等或不等。
进一步地,在所述将所有划分出来的物理盘区组成一个或多个物理卷的步骤之后,所述方法还包括:将每个物理卷划分为一个或多个不同类型的段,所述段的类型包括以下中的一个或多个:表段、索引段、回滚段、临时段和高速缓存段。
进一步地,在所述将每个物理卷划分为一个或多个不同类型的段的步骤之后,所述方法还包括:
所述DBMS在所述段上建立日志式文件系统,并对所述日志式文件系统进行分类,分别将不同类型的数据文件存储与对应类型的日志式文件系统中。
为了解决上述技术问题,本发明还提供了一种数据库管理系统,包括:
权限获取模块,用于向操作系统获取磁盘管理权限;
磁盘管理模块,用于在获取到所述磁盘管理权限后,根据预设的策略将物理磁盘划分为若干个物理盘区,再将所有划分出来的物理盘区组成一个或多个物理卷。
进一步地,所述权限获取模块,用于向操作系统获取磁盘管理权限,包括:
增加一驱动模块,通过所述驱动模块调用所述操作系统提供的底层结构体对象接口,以获取磁盘管理权限。
进一步地,所述预设的策略,包括:
预先设置物理盘区的大小,将物理磁盘划分大小相等的物理盘区;或者,
预先设置划分的物理盘区的总个数N,将物理磁盘划分为N个物理盘区,每个物理盘区的大小相等或不等。
进一步地,还包括:
段管理模块,用于将每个物理卷划分为一个或多个不同类型的段,所述段的类型包括以下中的一个或多个:表段、索引段、回滚段、临时段和高速缓存段。
进一步地,还包括:
文件系统管理模块,用于在所述段上建立日志式文件系统,并对所述日志式文件系统进行分类,分别将不同类型的数据文件存储与对应类型的日志式文件系统中。
与现有技术相比,本发明的一个实施例中提供的磁盘管理方法及数据库管理系统,DBMS获取磁盘管理权限,由DBMS直接管理物理磁盘,可以加快数据的读写速度,增强数据库IO性能。同时数据的磁盘,直接被数据库管理,也方便磁盘的数据的恢复;在另一个实施例中,所有的数据文件分别独立地存储于对应类型的文件系统中,相互隔离,即使是一个文件系统出问题了,也不影响其他文件系统中的数据,增强了DBMS系统的安全性。
附图说明
图1是实施例中磁盘管理方法流程图;
图2是实施例中数据库管理系统的结构图;
图3是一个应用例中数据库管理系统的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
实施例:
如图1所示,本实施例提供了一种磁盘管理方法,包括:
S101:DBMS向操作系统获取磁盘管理权限;
现有技术中,LINUX系统通过kobject和Kset结构体对象,将磁盘PCI设备信息及磁盘管理权传递给操作系统的驱动。而本实施例则在所述DBMS新增一驱动模块,所述DBMS通过所述驱动模块调用操作系统提供的底层结构体对象接口,以获取磁盘管理权限。
S102:DBMS根据预设的策略将物理磁盘划分为若干个物理盘区,再将所有划分出来的物理盘区组成一个或多个物理卷;
所述预设的策略,包括:
预先设置物理盘区的大小,将物理磁盘划分大小相等的物理盘区;或者,
预先设置划分的物理盘区的总个数N,将物理磁盘划分为N个物理盘区,每个物理盘区的大小相等或不等。
其中,DBMS根据上述预设的策略将物理磁盘划分为若干个物理盘区(physical extents,简称,PE),每个盘区的大小可以是固定的,相当于数据集合块,比如1G,也可以是不同的,然后建立PE域,即物理盘区PE的集合,待使用的盘区资源池,再在PE域中建立若干个物理卷(physicalvolume),也就是将该盘区资源池中的物理盘区组合成一个或多个物理卷,即一个物理卷有若干个物理盘区构成。
优选地,在建立物理卷之后,所述方法还包括:
S103:将每个物理卷划分为一个或多个不同类型的段,所述段的类型包括以下中的一个或多个:表段、索引段、回滚段、临时段和高速缓存段。
每个段的用途不同,用于维护不同用处的数据文件。比如在表段,可以建立多个数据文件及表空间。
优选地,在建立了所述物理卷和段之后,所述方法还包括:
S104:所述DBMS在所述段上建立日志式文件系统,并对所述日志式文件系统进行分类,分别将不同类型的数据文件存储与对应类型的日志式文件系统中。
各种数据文件存于独立的DBMS文件系统中,例如:控件数据存在于一个独立的DBMS文件系统中;Redo(重做)日志存于一个独立的DBMS文件系统中,归档日志存在一个独立的DBMS文件系统中。所有的数据文件相互隔离,即使是一个文件系统出问题了,也不影响其他文件系统中的数据,增强DBMS系统的安全性。
如图2所示,本实施例提供了一种数据库管理系统DBMS,包括:
权限获取模块,用于向由操作系统提供的底层结构体对象获取磁盘管理权限;
磁盘管理模块,用于在获取到磁盘管理权限后,根据预设的策略将物理磁盘划分为若干个物理盘区,再将所有划分出来的物理盘区组成一个或多个物理卷。
所述权限获取模块,用于向操作系统获取磁盘管理权限,包括:
增加一驱动模块,通过所述驱动模块调用所述操作系统提供的底层结构体对象接口,以获取磁盘管理权限。
所述预设的策略,包括:
预先设置物理盘区的大小,将物理磁盘划分大小相等的物理盘区;或者,
预先设置划分的物理盘区的总个数N,将物理磁盘划分为N个物理盘区,每个物理盘区的大小相等或不等。
此外,优选地,本实施例中DBMS还包括:
段管理模块,用于将每个物理卷划分为一个或多个不同类型的段,所述段的类型包括以下中的一个或多个:表段、索引段、回滚段、临时段和高速缓存段。
优选地,DBMS还包括:
文件系统管理模块,用于在所述段上建立日志式文件系统,并对所述日志式文件系统进行分类,分别将不同类型的数据文件存储与对应类型的日志式文件系统中。
在一个应用示例中,DBMS架构如图3所示,DBMS安装在操作系统之上,DBMS的最终操作转换成操作系统的操作。为了提高数据库的IO性能,设计数据库管理系统DBMS直接管理物理磁盘,即,在DBMS层面上划分并建立物理卷及数据文件,数据文件的底层为段的设计,物理卷的底层为物理盘区的设计,此外,优选地,在段之上建立日志式文件系统,分别独立存储不同类型的数据文件。
从上述实施例可以看出,相对于现有技术,上述实施例中提供的磁盘管理方法及数据库管理系统,根据PCI设备号及相关信息在DBMS层面上建立物理磁盘,舍弃DBMS使用操作系统提供的设备号,防止设备名称的改变引起DBMS存储结构的故障,同时由DBMS直接管理物理存储磁盘,可以加快数据的读写速度,增强数据库IO性能。同时数据的磁盘,直接被数据库管理,也方便磁盘的数据的恢复;在另一个实施例中,建立了日志式文件系统,用独立的日志文件记录磁盘读写情况,增强读写查询的速度及文件系统的安全性;在另一个实施例中,所有的数据文件分别独立地存储于对应类型的文件系统中,相互隔离,即使是一个文件系统出问题了,也不影响其他文件系统中的数据,增强了DBMS系统的安全性。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已,并非用于限定本发明的保护范围。根据本发明的发明内容,还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种磁盘管理方法,包括:
数据库管理系统DBMS向操作系统获取磁盘管理权限;
根据预设的策略将物理磁盘划分为若干个物理盘区,再将所有划分出来的物理盘区组成一个或多个物理卷。
2.如权利要求1所述的方法,其特征在于:所述方法还包括:在所述DBMS新增一驱动模块,所述DBMS向操作系统获取磁盘管理权限,包括:
所述DBMS通过所述驱动模块调用所述操作系统提供的底层结构体对象接口,以获取磁盘管理权限。
3.如权利要求1所述的方法,其特征在于:
所述预设的策略,包括:
预先设置物理盘区的大小,将物理磁盘划分大小相等的物理盘区;或者,
预先设置划分的物理盘区的总个数N,将物理磁盘划分为N个物理盘区,每个物理盘区的大小相等或不等。
4.如权利要求1或3所述的方法,其特征在于:
在所述将所有划分出来的物理盘区组成一个或多个物理卷的步骤之后,所述方法还包括:将每个物理卷划分为一个或多个不同类型的段,所述段的类型包括以下中的一个或多个:表段、索引段、回滚段、临时段和高速缓存段。
5.如权利要求4所述的方法,其特征在于:
在所述将每个物理卷划分为一个或多个不同类型的段的步骤之后,所述方法还包括:
所述DBMS在所述段上建立日志式文件系统,并对所述日志式文件系统进行分类,分别将不同类型的数据文件存储与对应类型的日志式文件系统中。
6.一种数据库管理系统,包括:
权限获取模块,用于向操作系统获取磁盘管理权限;
磁盘管理模块,用于在获取到所述磁盘管理权限后,根据预设的策略将物理磁盘划分为若干个物理盘区,再将所有划分出来的物理盘区组成一个或多个物理卷。
7.如权利要求5所述的数据库管理系统,其特征在于:
所述权限获取模块,用于向操作系统获取磁盘管理权限,包括:
增加一驱动模块,通过所述驱动模块调用所述操作系统提供的底层结构体对象接口,以获取磁盘管理权限。
8.如权利要求5所述的数据库管理系统,其特征在于:
所述预设的策略,包括:
预先设置物理盘区的大小,将物理磁盘划分大小相等的物理盘区;或者,
预先设置划分的物理盘区的总个数N,将物理磁盘划分为N个物理盘区,每个物理盘区的大小相等或不等。
9.如权利要求6或8所述的数据库管理系统,其特征在于:还包括:
段管理模块,用于将每个物理卷划分为一个或多个不同类型的段,所述段的类型包括以下中的一个或多个:表段、索引段、回滚段、临时段和高速缓存段。
10.如权利要求9所述的数据库管理系统,其特征在于:还包括:
文件系统管理模块,用于在所述段上建立日志式文件系统,并对所述日志式文件系统进行分类,分别将不同类型的数据文件存储与对应类型的日志式文件系统中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410334185.XA CN104102709A (zh) | 2014-07-14 | 2014-07-14 | 一种磁盘管理方法及数据库管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410334185.XA CN104102709A (zh) | 2014-07-14 | 2014-07-14 | 一种磁盘管理方法及数据库管理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104102709A true CN104102709A (zh) | 2014-10-15 |
Family
ID=51670863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410334185.XA Pending CN104102709A (zh) | 2014-07-14 | 2014-07-14 | 一种磁盘管理方法及数据库管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104102709A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280586A (zh) * | 2018-02-02 | 2018-07-13 | 万盈摩比科技(深圳)有限公司 | 一种招标、投标及评标在线交易系统的数据碎片化处理方法 |
| CN111756828A (zh) * | 2020-06-19 | 2020-10-09 | 广东浪潮大数据研究有限公司 | 一种数据存储方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101056175A (zh) * | 2007-04-26 | 2007-10-17 | 华为技术有限公司 | 磁盘阵列及其访问权限控制方法与装置、服务器及服务器系统 |
| US20070250475A1 (en) * | 2006-04-24 | 2007-10-25 | Hitachi, Ltd. | Computer system and method for reducing power consumption of storage system |
| CN101373441A (zh) * | 2008-09-19 | 2009-02-25 | 苏州壹世通科技有限公司 | 一种基于固件的虚拟化平台系统 |
| CN101840308A (zh) * | 2009-10-28 | 2010-09-22 | 创新科存储技术有限公司 | 一种分级存储系统及其逻辑卷管理方法 |
-
2014
- 2014-07-14 CN CN201410334185.XA patent/CN104102709A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070250475A1 (en) * | 2006-04-24 | 2007-10-25 | Hitachi, Ltd. | Computer system and method for reducing power consumption of storage system |
| CN101056175A (zh) * | 2007-04-26 | 2007-10-17 | 华为技术有限公司 | 磁盘阵列及其访问权限控制方法与装置、服务器及服务器系统 |
| CN101373441A (zh) * | 2008-09-19 | 2009-02-25 | 苏州壹世通科技有限公司 | 一种基于固件的虚拟化平台系统 |
| CN101840308A (zh) * | 2009-10-28 | 2010-09-22 | 创新科存储技术有限公司 | 一种分级存储系统及其逻辑卷管理方法 |
Non-Patent Citations (4)
| Title |
|---|
| RAGHU RAMARKRISHNAM等: "《数据库管理系统 第2版》", 31 December 2002 * |
| 李东亮: "数据库 物理层 物理块在磁盘上的分配是操作系统管理的 还是数据库自己管的", 《HTTP://WWW.OSCHINA.NET/QUESTION》 * |
| 李法春等: "Windows 系统访问基于LVM 存储设备的方法研究", 《韶关学院学报 自然科学》 * |
| 李法春等: "Windows 系统访问基于LVM 存储设备的方法研究", 《韶关学院学报•自然科学》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280586A (zh) * | 2018-02-02 | 2018-07-13 | 万盈摩比科技(深圳)有限公司 | 一种招标、投标及评标在线交易系统的数据碎片化处理方法 |
| CN111756828A (zh) * | 2020-06-19 | 2020-10-09 | 广东浪潮大数据研究有限公司 | 一种数据存储方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220215111A1 (en) | Data Protection For Container Storage | |
| US8352490B2 (en) | Method and system for locating update operations in a virtual machine disk image | |
| US8719286B1 (en) | System and method for block-based subtree virtual machine backup | |
| US9152353B1 (en) | Verifying the consistency of slice allocation metadata | |
| US10353867B1 (en) | Method and system for verifying files for garbage collection | |
| US20140297603A1 (en) | Method and apparatus for deduplication of replicated file | |
| US10152481B1 (en) | Technique to scale out namespace | |
| US9063980B2 (en) | Log consolidation | |
| US8140537B2 (en) | Block level tagging with file level information | |
| CN106663047A (zh) | 用于优化的签名比较和数据复制的系统和方法 | |
| US20240411726A1 (en) | Hybrid Model Of Fine-Grained Locking And Data Partitioning | |
| WO2016078420A1 (zh) | 虚拟机处理方法和虚拟计算机系统 | |
| CN103617260B (zh) | 重复数据删除的索引生成方法及装置 | |
| CN104239438B (zh) | 基于分离存储的文件信息存储方法和文件信息读写方法 | |
| US9798761B2 (en) | Apparatus and method for fsync system call processing using ordered mode journaling with file unit | |
| US8572338B1 (en) | Systems and methods for creating space-saving snapshots | |
| CN103744875B (zh) | 基于文件系统的数据快速迁移方法及系统 | |
| KR101584760B1 (ko) | 순서 모드 저널링 파일 시스템을 위한 블록 그룹 단위 저널링 방법 및 장치 | |
| US20150169623A1 (en) | Distributed File System, File Access Method and Client Device | |
| US20160124984A1 (en) | Storage and compression of an aggregation file | |
| US9891938B2 (en) | Modifying an instance catalog to perform operations | |
| US11681657B2 (en) | System and method for parallel flushing with bucketized data | |
| US10248677B1 (en) | Scaling an SSD index on a deduplicated storage system | |
| WO2019072250A1 (zh) | 一种文件管理方法、文件管理系统、电子设备及存储介质 | |
| CN103473258A (zh) | 云存储文件系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141015 |
|
| RJ01 | Rejection of invention patent application after publication |