db file async I/O submit 等待事件优化

浏览数：26 / 时间：2015年06月12日

一、数据发生db file async I/O submit

我们从数据库awr报告中经常会看到很高db file async I/O submit的等待事件:

SQL> select event,wait_class,wait_time from v$session_wait where wait_class<>'Idle'


EVENT                            WAIT_CLASS   WAIT_TIME
-------------------------------- ----------- ----------
SQL*Net message to client        Network             -1
Data file init write             User I/O             0
control file sequential read     System I/O           0
db file sync I/O submit          System I/O          79

二、分析db file async I/O submit

那么从这个等待事件的名称上来看，我们不难看出其和IO有关，IO分为如下：

同步IO：在同步IO中，线程启动一个IO操作然后就立即进入等待状态，知道IO操作完成后才继续执行其他事情。

异步IO：线程发送一个IO请求到内核，然后继续处理其它事情，内容完成IO请求后，将通知线程IO操作完成

IO总结：

如果IO请求需要大量时间执行的话，异步文件IO方式可以显著提高效率，因为在线程等待的这段时间内，CPU将会调度其它线程进行执行，如果没有其它线程需要执行的话，这段时间将会浪费掉（可能会调度操作系统的零页线程）。如果IO请求操作很快，用异步IO的方式更低效，此时同步IO会较优。

同步IO在同一时刻只允许一个IO操作，也就是说对于同一个文件句柄的IO操作是序列化的，及时使用两个线程也不能同时对一个文件句柄同时发出读写操作。重叠IO允许一个活多个线程同事发出IO请求。

异步IO在请求完成时，通过将文件句柄设为又信号状态来通知应用程序，或者应用程序通过GetOverlappedResult查看IO请求是否完成，也可以通过一个事件对象来通知应用程序。

三、找出相关的参数

那么我们看看有关异步IO的设置:

在Oracle 11g当中，其默认值为如下:

SQL> select * from v$version;
 
BANNER
--------------------------------------------------------------------------------
Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production
PL/SQL Release 11.2.0.4.0 - Production
CORE 11.2.0.4.0 Production
TNS for Linux: Version 11.2.0.4.0 - Production
NLSRTL Version 11.2.0.4.0 - Production
 
SQL>
SQL> show parameter disk_asynch_io
 
NAME TYPE VALUE
------------------------------------ ----------- ------------------------------
disk_asynch_io boolean TRUE
SQL> show parameter filesystemio 
 
NAME TYPE VALUE
------------------------------------ ----------- ------------------------------
filesystemio_options string none

四、对于filesystemio_options参数的解释:

You can use the FILESYSTEMIO_OPTIONS initialization parameter to enable or disable asynchronous I/O or direct I/O on file system files. This parameter is platform-specific and has a default value that is best for a particular platform.
使用FILESYSTEMIO_OPTIONS初始化参数在文件系统文件上启用或者禁用异步I/O或者直接I/O。这个参数是平台特有的，针对特定的平台最好有个默认值。

FILESYTEMIO_OPTIONS can be set to one of the following values:

ASYNCH: enable asynchronous I/O on file system files, which has no timing requirement for transmission.
在文件系统文件上启用异步I/O，在数据传送上没有计时要求。

DIRECTIO: enable direct I/O on file system files, which bypasses the buffer cache.
在文件系统文件上启用直接I/O，绕过buffer cache。

SETALL: enable both asynchronous and direct I/O on file system files.
在文件系统文件上启用异步和直接I/O。

NONE: disable both asynchronous and direct I/O on file system files.
在文件系统文件上禁用异步和直接I/O。

五、打开异步IO

这个时候我们通过如下语句打开filesystemio_options异步IO选项：

SQL> alter system set filesystemio_options =asynch sid = ‘*’ scope=spfile;

六、重启数据库后检查:

在Oracle11gR2中AIO默认已经是开启的了。可以通过ldd或者nm来检查oracle是否已经启用了AIO支持，有输出代表已经启用。

[root@db02 ~]# grep kio /proc/slabinfo
kioctx 104 140 384 10 1 : tunables 54 27 8 : slabdata 14 14 0
kiocb 123 210 256 15 1 : tunables 120 60 8 : slabdata 14 14 0

[root@db02 ~]# su - oracle
[oracle@db02 ~]$ /usr/bin/nm $ORACLE_HOME/bin/oracle | grep io_getevent
                 w io_getevents@@LIBAIO_0.4

proc文件系统包含了两个虚拟文件，它们可以用来对异步 I/O的性能进行优化：

/proc/sys/fs/aio-nr文件提供了系统范围异步 I/O请求现在的数目。

/proc/sys/fs/aio-max-nr文件是所允许的并发请求的最大个数。最大个数通常是 64KB，这对于大部分应用程序来说都已经足够了。

检查异步I/O是否在使用

　　根据[Note 370579.1]，可以通过查看slabinfo统计信息查看操作系统中AIO是否运行，slab是Linux的内存分配器，AIO相关的内存结构已经分配，kiocb值的第二列和第三列非0即是已使用。与kernel 2.4.x不同，没有显示kiobuf，因为从kernel 2.5.43开始，kiobuf已经从内核中被移除。

kioctx：

AIO上下文在内核空间对应数据结构kioctx，它保存异步IO的所有信息：

[oracle@db02 ~]$ grep kio /proc/slabinfo
kioctx 103 140 384 10 1 : tunables 54 27 8 : slabdata 14 14 0
kiocb 134 195 256 15 1 : tunables 120 60 8 : slabdata 13 13 0

七、后记：

1、使用操作系统cache：

    操作系统和设备控制器提供了数据库缓存，这些不直接与数据库的缓存管理相冲突。尽管如此，这些架构可能消耗资源当有很少的或没有性能利益。当数据库文件存储在Linux或者UNIX文件系统上时，这种情况就显而易见了。默认情况下，所有的数据库I/O都要通过文件系统的缓存。
    在一些Linux和UNIX系统上，直接I/O是可用的对于文件存储来说。这个协议允许数据库文件存取在文件系统范围内，绕过文件系统缓存。直接的I/O节约了CPU资源斌并且允许文件系统缓存是独立的在没有数据库活动的时候，例如program texts 和spool files.
     尽管操作系统的的cache经常是冗余的因为数据库的cache buffers blocks。在一些情况下，数据库不能用database buffer cache。在这些情况下，使用直接I/O或者裸设备可能产生更严重的性能问题比使用系统的buffer。例如

· Reads or writes to the TEMP tablespace

· Data stored in NOCACHE LOBs

· Parallel Query slaves reading data

2、相关参数介绍:

在oracle里为了提高io的速度，常用参数db_writer_processes和 dbwr_io_slaves
在数据库里事务数非常高，或db cache很大，一个DBWn process跟不上数据的load，我们可以调整这两个参数，这两个参数的作用就是增加io读写进程，启用异步io，加快io的速度
多个 slaves 可以并行写数据文件，而多个dbwr也可以并行写数据文件
一个 dbwr 多个 slaves是 dbwr搜集dirty buffer而 slaves写数据文件
多个dbwr 可以并行地搜集dirty buffer 并且并行地写数据文件
但是如果系统支持AIO一般不用设置多dbwr 或者 io slaves
db_writer_processes：在多cpu，多磁盘的环境，一般是每8个cpu一个dbwr进程

什么时候配置这两个参数
如果系统的io是瓶颈是，检查os是否支持异步io，如果支持异步io，但目前没有使用，那就启用异步io来缓解io瓶颈。如果os不支持异步io，
或os已经启用异步io，但io还是瓶颈，那我们可以配置多个dbwr进程。配置这两个参数是要注意，大都是如下
一个db_writer_processes，多个dbwr_io_slaves
多个db_writer_processes，dbwr_io_slaves不启用

八、参考：