数据库 - 关系数据库系统的查询优化

查询优化

在关系数据库系统中有着非常重要的地位
关系查询优化是影响RDBMS性能的关键因素
由于关系表达式的语义级别很高，使关系系统可以从关系表达式中分析查询语义，提供了执行查询优化的可能性

查询优化的优点不仅在于用户不必考虑如何最好地表达查询以获得较好的效率，而且在于系统可以比用户程序的“优化”做得更好
(1) 优化器可以从数据字典中获取许多统计信息，而用户程序则难以获得这些信息
(2)如果数据库的物理统计信息改变了，系统可以自动对查询重新优化以选择相适应的执行计划。在非关系系统中必须重写程序，而重写程序在实际应用中往往是不太可能的。
(3)优化器可以考虑数百种不同的执行计划，程序员一般只能考虑有限的几种可能性。
(4)优化器中包括了很多复杂的优化技术，这些优化技术往往只有最好的程序员才能掌握。系统的自动优化相当于使得所有人都拥有这些优化技术

RDBMS通过某种代价模型计算出各种查询执行策略的执行代价，然后选取代价最小的执行方案
集中式数据库
执行开销主要包括：
磁盘存取块数(I/O代价)
处理机时间(CPU代价)
查询的内存开销
I/O代价是最主要的
分布式数据库
总代价=I/O代价+CPU代价+内存代价＋通信代价

查询优化的总目标：
选择有效的策略
求得给定关系表达式的值
使得查询代价最小(实际上是较小) 

[例3] 求选修了2号课程的学生姓名。用SQL表达：
      SELECT  Student.Sname
       FROM  Student，SC
       WHERE  Student.Sno=SC.Sno AND                 SC.Cno=‘2’； 

假定学生-课程数据库中有1000个学生记录，10000个选课记录
其中选修2号课程的选课记录为50个 

系统可以用多种等价的关系代数表达式来完成这一查询
Q1=πSname(σStudent.Sno=SC.Sno∧Sc.Cno=‘2‘ (Student×SC))
Q2=πSname(σSc.Cno=‘2‘ (Student     SC))
Q3=πSname(Student      σSc.Cno=‘2‘(SC))

一、第一种情况
Q1=πSname(σStudent.Sno=SC.Sno∧Sc.Cno=’2’ (Student×SC))
1. 计算广义笛卡尔积
把Student和SC的每个元组连接起来的做法：
在内存中尽可能多地装入某个表(如Student表)的若干块，留出一块存放另一个表(如SC表)的元组。
把SC中的每个元组和Student中每个元组连接，连接后的元组装满一块后就写到中间文件上
从SC中读入一块和内存中的Student元组连接，直到SC表处理完。
再读入若干块Student元组，读入一块SC元组
重复上述处理过程，直到把Student表处理完
2. 作选择操作
依次读入连接后的元组，按照选择条件选取满足要求的记录
假定内存处理时间忽略。读取中间文件花费的时间(同写中间文件一样)需5×104s
满足条件的元组假设仅50个，均可放在内存
3. 作投影操作
把第2步的结果在Sname上作投影输出，得到最终结果
第一种情况下执行查询的总时间≈105+2×5×104≈105s
所有内存处理时间均忽略不计

二、 第二种情况
Q2=πSname(σSc.Cno=’2’ (Student SC))
1. 计算自然连接
执行自然连接，读取Student和SC表的策略不变，总的读取块数仍为2100块花费105 s
自然连接的结果比第一种情况大大减少，为104个
写出这些元组时间为104/10/20=50s，为第一种情况的千分之一
2. 读取中间文件块，执行选择运算，花费时间也为50s。
3. 把第2步结果投影输出。
第二种情况总的执行时间≈105+50+50≈205s

三、 第三种情况
Q3=πSname(Student σSc.Cno=’2’(SC))
1. 先对SC表作选择运算，只需读一遍SC表，存取100块花费时间为5s，因为满足条件的元组仅50个，不必使用中间文件。
2. 读取Student表，把读入的Student元组和内存中的SC元组作连接。也只需读一遍Student表共100块，花费时间为5s。
3. 把连接结果投影输出
第三种情况总的执行时间≈5+5≈10s

假如SC表的Cno字段上有索引
第一步就不必读取所有的SC元组而只需读取Cno=‘2’的那些元组(50个)
存取的索引块和SC中满足条件的数据块大约总共3～4块

若Student表在Sno上也有索引
第二步也不必读取所有的Student元组
因为满足条件的SC记录仅50个，涉及最多50个Student记录
读取Student表的块数也可大大减少

总的存取时间将进一步减少到数秒

把代数表达式Q1变换为Q2、 Q3，
即有选择和连接操作时，先做选择操作，这样参加连接的元组就可以大大减少，这是代数优化
在Q3中
SC表的选择操作算法有全表扫描和索引扫描2种方法，经过初步估算，索引扫描方法较优
对于Student和SC表的连接，利用Student表上的索引，采用index join代价也较小，这就是物理优化

代数优化策略

：通过对关系代数表达式的等价变换来提高查询效率

关系代数表达式的等价：指用相同的关系代替两个表达式中相应的关系所得到的结果是相同的

两个关系表达式E1和E2是等价的，可记为E1≡E2

常用的等价变换规则：
1.  连接、笛卡尔积交换律
   设E1和E2是关系代数表达式，F是连接运算的条件，则有
    E1  × E2≡E2  × E1
    E1      E2≡E2      E1
    E1      E2≡E2      E1
2. 连接、笛卡尔积的结合律
   设E1，E2，E3是关系代数表达式，F1和F2是连接运算的条件，则有
    (E1  × E2) × E3≡E1 × (E2 × E3)
    (E1      E2)      E3≡E1      (E2      E3)
    (E1     E2)      E3≡E1     (E2      E3) 
3. 投影的串接定律
                 (            (E))≡            (E)
    这里，E是关系代数表达式，Ai(i=1，2，…，n)，Bj(j=1，2，…，m)是属性名且{A1，A2，…，An}构成{B1，B2，…，Bm}的子集。
4. 选择的串接定律
           (     (E))≡           (E)
    这里，E是关系代数表达式，F1、F2是选择条件。
    选择的串接律说明选择条件可以合并。这样一次就可检查全部条件
5. 选择与投影操作的交换律
    σF(          (E))≡            (σF(E))
    选择条件F只涉及属性A1，…，An。
    若F中有不属于A1，…，An的属性B1，…，Bm则有更一般的规则：
                (σF(E))≡          (σF(                       (E)))

6. 选择与笛卡尔积的交换律
    如果F中涉及的属性都是E1中的属性，则
         (E1×E2)≡     (E1)×E2
    如果F=F1∧F2，并且F1只涉及E1中的属性，F2只涉及E2中的属性，则由上面的等价变换规则1，4，6可推出：
         (E1×E2)≡     (E1)×     (E2)
    若F1只涉及E1中的属性，F2涉及E1和E2两者的属性，则仍有
        (E1×E2)≡      (     (E1)×E2)
    它使部分选择在笛卡尔积前先做。 

7. 选择与并的分配律
    设E=E1∪E2，E1，E2有相同的属性名，则
    σF(E1∪E2)≡σF(E1)∪σF(E2)
8. 选择与差运算的分配律
    若E1与E2有相同的属性名，则
    σF(E1-E2)≡σF(E1)-σF(E2)
9. 选择对自然连接的分配律
    σF(E1    E2)≡σF(E1)      σF(E2)
    F只涉及E1与E2的公共属性 
10. 投影与笛卡尔积的分配律
    设E1和E2是两个关系表达式，A1，…，An是E1的属性，B1，…，Bm是E2的属性，则
                        (E1×E2)≡            (E1)×            (E2)
11. 投影与并的分配律
    设E1和E2有相同的属性名，则
                  (E1∪E2)≡            (E1)∪            (E2)

查询树的启发式优化

典型的启发式规则：
1. 选择运算应尽可能先做。在优化策略中这是最重要、最基本的一条
2. 把投影运算和选择运算同时进行（pipelining技术）
如有若干投影和选择运算，并且它们都对同一个关系操作，则可以在扫描此关系的同时完成所有的这些运算以避免重复扫描关系，也避免存储中间关系
3. 把投影同其前或其后的双目运算结合起来执行（pipelining技术）
4. 把某些选择同在它前面要执行的笛卡尔积结合起来成为一个连接运算
5. 找出公共子表达式
如果这种重复出现的子表达式的结果不是很大的关系并且从外存中读入这个关系比计算该子表达式的时间少得多，则先计算一次公共子表达式并把结果写入中间文件是合算的
当查询的是视图时，定义视图的表达式就是公共子表达式的情况
遵循这些启发式规则，应用9.3.1的等价变换公式来优化关系表达式的算法。
算法：关系表达式的优化
输入：一个关系表达式的查询树
输出：优化的查询树
方法：
(1) 利用等价变换规则4把形如σF1∧F2∧…∧Fn(E)变换为σF1(σF2(…(σFn(E))…))。
(2) 对每一个选择，利用等价变换规则4～9尽可能把它移到树的叶端。
(3) 对每一个投影利用等价变换规则3，5，10，11中的一般形式尽可能把它移向树的叶端。
注意：
等价变换规则3使一些投影消失
规则5把一个投影分裂为两个，其中一个有可能被移向树的叶端
(4) 利用等价变换规则3～5把选择和投影的串接合并成单个选择、单个投影或一个选择后跟一个投影。使多个选择或投影能同时执行，或在一次扫描中全部完成
(5) 把上述得到的语法树的内节点分组。每一双目运算(×， ，∪，-)和它所有的直接祖先为一组(这些直接祖先是(σ，π运算)。
如果其后代直到叶子全是单目运算，则也将它们并入该组
但当双目运算是笛卡尔积(×)，而且后面不是与它组成等值连接的选择时，则不能把选择与这个双目运算组成同一组，把这些单目运算单独分为一组

例[5] 查询语句：检索学习课程名为MATH的女学生学号和姓名。
该查询语句的关系代数表达式如下：
   πS#，SNAME(σCNAME=’MATH’∧SEX=’F’(C   SC   S))
上式中， 符号用π、σ、×操作表示，可得下式
 πS#，SNAME(σCNAME=’MATH’∧SEX=’F’(πL
          (σC.C# = SC.C#∧SC.S# = S.S#(C×SC×S))))
此处L是C、SC、S中全部属性,去除重复属性。