-
题名数据库参数配置智能调优研究综述
被引量：1
- 1
-
-
作者
李奕言
田季坤
蒲照
李翠平
陈红
-
机构
中国人民大学信息学院
数据库与商务智能教育部工程研究中心
数据工程与知识工程教育部重点实验室
-
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2024年第8期1901-1921,共21页
-
基金
国家重点研发计划(2023YFB4503600)
国家自然科学基金(U23A20299,62072460,62172424,62276270,62322214)资助.
-
文摘
数据库系统具有大量的参数,这些参数控制了系统的内存分配、I/O优化、备份与恢复等诸多方面,极大地影响着数据库的性能.随着数据库和应用程序的规模和复杂性的增长,传统依靠数据库管理员手动配置参数的方式已经越来越难以满足用户需求.数据库参数配置智能调优将机器学习技术应用到参数调优领域,依据负载信息、数据库参数和性能,借助机器学习算法推荐一组最优的参数.本文针对现有参数配置智能调优技术,从调优方法、应用情况和未来挑战三个方面依次进行梳理和总结.首先将现有参数调优方法依据所用算法不同分为五类,从原理、技术、优缺点等方面对各类方法进行详细介绍和总结.之后介绍当前工业界主流的参数调优工具,分析参数配置智能调优在实际应用过程中遇到的问题及原因.最后,本文对数据库参数配置智能调优的未来研究方向进行了展望.本文旨在帮助研究者掌握当前数据库参数配置智能调优领域主流方法及面临的问题,以推动后续研究工作的开展.
-
关键词
机器学习
参数调优
贝叶斯优化
强化学习
智能数据库
-
Keywords
machine learning
knob tuning
bayesian optimization
reinforcement learning
intelligent databases
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名云数据库资源与参数协同调优方法研究
被引量：1
- 2
-
-
作者
李雨航
谭睿雄
柴云鹏
-
机构
数据工程与知识工程教育部重点实验室
数据库与商务智能教育部工程研究中心
中国人民大学信息学院
-
出处
《计算机科学》
CSCD
北大核心
2024年第6期104-110,共7页
-
基金
国家自然科学基金(61972402,61972275)。
-
文摘
云数据库中存在许多配置项,包括数据库内部的配置参数以及部署环境的虚拟机资源配置,这些配置项共同决定了数据库的读写性能和资源消耗。在资源弹性伸缩的云环境下,用户关注数据库的服务性能和资源消耗成本。然而,由于配置项众多且负载变化快速,寻找最优的配置项组合变得困难。文中针对负载动态变化的在线调优场景提出了CoTune,一种协同调节云数据库资源与参数的快速调优方法。该方法针对OLTP型动态负载,通过迭代调节云虚拟机资源配置和数据库参数配置,在保障服务质量的前提下降低资源消耗。该方法的创新点如下:首先,在每个调优周期内,采用三阶段方案对资源配额和数据库参数进行调节,优先保障服务质量;其次,根据数据库参数对不同资源的影响进行分类,减小搜索空间,快速调节参数;最后,在数据库参数调节的强化学习模型中,设计特定的奖励函数,快速获取奖励值,加快调节频率。实验结果表明,该方法相比同时调节资源和参数、单独调节资源等方法,能够在保障服务质量的前提下降低资源消耗。通过快速迭代调优,能够应对负载变化的挑战,并在动态负载环境中实现更高效的资源利用。
-
关键词
云数据库
参数调优
服务质量
资源消耗
-
Keywords
Cloud database
Parameter tuning
Quality-of-Service
Resource consumption
-
分类号
TP392
[自动化与计算机技术—计算机应用技术]
-
-
题名GPU数据库实现技术发展演进
- 3
-
-
作者
刘鹏
陈红
张延松
李翠平
-
机构
数据工程与知识工程教育部重点实验室
中国人民大学信息学院
数据库与商务智能教育部工程研究中心
-
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2024年第11期2691-2724,共34页
-
基金
国家自然科学基金(62072460,62076245,62172424,62276270)
北京市自然科学基金(4212022)资助。
-
文摘
爆炸式增长的数据对存储和处理数据提出了更高的需求,GPU数据库作为新硬件数据库的一个重要分支,在大容量和高性能处理方面有其独特的优势.GPU数据库作为高性能数据库的代表,在最近几年受到学术界和产业界的关注,一批具有代表性的研究成果和标志性的实际产品已经出现.GPU数据库的技术发展按照GPU加速型和GPU内存型两种技术路线展开.两种技术路线都有相应的原型系统或产品出现.虽然两种GPU数据库的发展路线在实现上有所不同,但GPU数据库最基本的功能部分和核心技术是相似的,都有查询编译、查询优化、查询执行以及存储管理等功能.当前主流的数据传输方案除了PCIe之外,NVLink、RDMA和CXL等传输方案也为不同处理器之间的数据传输提供了更多的可能性.大多数GPU数据库使用列存储模型来存储数据,少数GPU数据库(如PG-Strom)对两种存储模型都支持.在列存储模型上利用压缩技术能减少数据的存储空间和传输时延.在GPU数据库上进行的压缩和解压的时间应该在整个数据处理的过程中占比很少.在GPU数据库上建立和维护索引不应该有很大的系统开销.JIT编译时间短、编译效率高,是GPU数据库编译的主流.操作符对数据库查询性能的影响非常明显,连接操作、分组聚集和OLAP运算符是目前研究最多的三个类型.目前大多数的研究中,连接和分组聚集算子通常结合在一起研究.在连接算子执行的过程中还和表的连接顺序结合在一起进行考虑.OLAP算子是GPU数据库中的又一个被大量研究的算子,GPU数据库在OLAP算子和模型方面持续受到研究者的关注.GPU数据库有三种查询处理模型,即行处理、列处理和向量化处理.向量化处理和列处理在实际系统中应用较多.由于GPU加速型数据库技术的发展,CPU-GPU协同处理模型上的查询方案与查询引擎也有一定数量的研究成果出现.当前GPU数据库的查询优化研究主要有三部分:多表连接顺序、查询重写和代价模型.然而,GPU数据库的代价评估模型在目前还没有很好的解决方案,GPU数据库的查询优化在未来仍有很大的研究空间.事务在GPU数据库中没有得到很好的研究,尽管有单独的原型系统,但目前的研究还没有取得重大进展.本文总结了GPU数据库各种关键技术已有的研究成果,指出GPU数据库当前存在的问题和面临的挑战,对未来的研究方向进行了展望.
-
关键词
GPU数据库
数据压缩
算子优化
OLAP查询
查询处理
-
Keywords
GPU database
data compression
operator optimization
OLAP query
query processing
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名关系数据库缓冲区置换策略的性能评测(英文)
被引量：3
- 4
-
-
作者
栾华
杜小勇
冯玉
王珊
-
机构
中国人民大学教育部数据工程与知识工程重点实验室
数据库与商务智能教育部工程研究中心
-
出处
《计算机科学与探索》
CSCD
2008年第2期139-165,共27页
-
基金
国家自然科学基金No.60496325,60573092
985工程项目~~
-
文摘
缓冲区是计算机领域一个非常重要的研究主题。现在存在很多缓冲区置换策略,广泛地用于操作系统、文件系统、数据库以及存储系统中。提出了一种性能评测方法来评测关系数据库的缓冲区置换策略。这种方法采用直接测试方式,使用五个性能指标,包括新提出的指标以及由于模拟方法的局限性在以前的研究中很少使用的性能指标,同时利用显著性测试并提出一种联合使用多个显著性测试的方法进行置换策略之间的比较,设计和使用多种工作负载在单用户和多用户情况下有效地评测各种策略。使用这种评测方法,在一个真实的关系数据库环境中,对十三种典型的缓冲区置换策略的性能进行了详细、全面的实验研究,从中可以获得一些有用的结论。
-
关键词
缓冲区置换策略
性能评测方法
显著性测试
访问模式
TPC—H和TPC—C基准
-
Keywords
buffer replacement strategy
performance evaluation methodology
significance test
access pattern
TPC-H and TPC-C benchmark
-
分类号
TP302
[自动化与计算机技术—计算机系统结构]
-
