记一次数据库宕机处理

早上巡检realsync时发现数据库宕掉了，查看alert发现如下报错：

Thu Dec 18 22:26:18 2014

KCF: read, write or open error, block=0x72d online=1

        file=1 ‘/oradata/****/temp01.dbf‘

        error=27063 txt: ‘IBM AIX RISC System/6000 Error: 28: No space left on device

Additional information: -1

Additional information: 131072‘

Errors in file /u01/app/diag/rdbms/**/***/trace/sjjz_dbw1_418098.trc:

Errors in file /u01/app/diag/rdbms/**/**/trace/sjjz_dbw1_418098.trc:

ORA-63999: data file suffered media failure

ORA-01114: IO error writing block to file 1025 (block # 1837)

ORA-01110: data file 1025: ‘/oradata/**/temp01.dbf‘

ORA-27063: number of bytes read/written is incorrect

IBM AIX RISC System/6000 Error: 28: No space left on device

Additional information: -1

Additional information: 131072

DBW1 (ospid: 418098): terminating the instance due to error 63999

从报错No space left on device，怀疑系空间不足导致的，df查看果然/oradata文件系统剩余空间为0，占用率为100%；

进一步查看temp01.dbf数据库文件属性：

1 /oradata/sjjz/temp01.dbf 1 TEMP 30408704 3712 ONLINE 1 YES 34359721984 4194302 80 29360128 3584

autoextensible为yes，即可以自动对数据文件进行扩展，最大空间为34359721984，31GB。

当io写入时发现已经没有空间写入了，instance abort！

在bing中查询这个ora-63999，果然发现oracle 11g存在这个问题，是由一个隐藏的启动参数决定的，

隐藏参数‘_datafile_write_errors_crash_instance’是在Oracle 11.2.0.1开始导入的，

主要的机能是在，数据文件（sysytem以外表空间）I/O读写错误被发现时，对实例的down进行管理。

Oracle 11.2.0.1 的初始值是

_datafile_write_errors_crash_instance = FALSE

数据文件（sysytem以外表空间）I/O读写错误被发现时，在归档模式下，发生错误的数据文件

被OFFLINE，实例不会down。

Oracle 11.2.0.2开始初始值变成TRUE

_datafile_write_errors_crash_instance = TRUE

因为I/O错误，数据文件读写失败被发现时，ORA－63999错误出力，实例down。

后又查看一篇文章：http://blog.itpub.net/23718752/viewspace-1122411

这个作者说这是oracle11g一个bug，从11.2.0.2就解决了，但是我这个系统是oracle 11.2.0.4，按照文章作者的说明从11.2.0.2在归档模式下不会出现instance abort，我这个数据库是非归档模式的，这个就需要验证下了，有时间在验证下，到时把结果在补充上来。