公司虚拟化平台VMware vCenter Server无法连接故障排查解决

1.环境：

系统：Windows 2008R2

vCenter版本：VMware vCenter Server 5.1.799731

数据库：Oracle 11.2.0

2.故障描述：

用VMware vSphere Client客户端无法登录，提示“出现未知连接错误。（由于连接故障，请求失败。无法连接到远程服务器）”

排错过程：

1.mstsc远程桌面到服务器。

打开服务器管理器--服务，找到vCenter的服务VMware VirtualCenter Server，发现服务没有启动。

2.确认oracle数据库的服务OracleServiceBNVCDB状态，为已启动状态。

3.手动尝试启动vCenter服务，启动失败，报错

4.此时，怀疑是不是Windows系统本身问题，于是，尝试重启系统。看来这招大招也不行，vCenter服务依然无法启动。根据报错提示，查看系统事件日志，诊断--Windows日志--系统。果然发现有错误信息：“VMware VirtualCenter Server 服务因 系统找不到指定的文件。 服务特定错误而停止。（the VMware VirtualCenter Server service terminated with service-specific error The system cannot find the file specified..）”

根据错误提示，到vmware 官网查KB库http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1003926，根据KB的解决方案去排查，问题依旧，看来这个KB不适用当前的问题。

5.继续查看Windows的系统日志，诊断--Windows日志--应用程序。看到一条错误信息：“无法找到来自源 VMware VirtualCenter Server 的事件 ID 1000 的描述。本地计算机上未安装引发此事件的组件，或者安装已损坏。可以安装或修复本地计算机上的组件。如果该事件产生于另一台计算机，则必须在该事件中保存显示信息。 以下是包含在事件中的信息:  Failed to intialize VMware VirtualCenter. Shutting down... 

消息资源存在，但在字符串/消息表中找不到该消息”

根据错误的信息继续上官网查KB库，根据查到的几个KB库，问题依然无法解决。

6.没办法，只能看vCenter的日志了。Note: In Windows 2008, the vpxd.log file is located at C:\ProgramData\VMware\VMware VirtualCenter\Logs.

看到日志最后有个错误输出：

2014-10-28T15:09:31.000+08:00 [04992 error ‘vpxdvpxdMain‘] [Vpxd::ServerApp::Init] Init failed: Unexpected exception

--> Backtrace:

--> backtrace[00] rip 000000018018977a 

--> backtrace[01] rip 0000000180100c98 

--> backtrace[02] rip 0000000180101fae 

--> backtrace[03] rip 000000018008aeab 

--> backtrace[04] rip 0000000000514971 

--> backtrace[05] rip 00000000004b1298 

--> backtrace[06] rip 00000000004b16c9 

--> backtrace[07] rip 0000000000420fae 

--> backtrace[08] rip 0000000140ddbfb8 

--> backtrace[09] rip 000000013fcd0078 

--> backtrace[10] rip 000000013fcd016a 

--> backtrace[11] rip 000000013fcd0279 

--> backtrace[12] rip 000000013fcd0609 

--> backtrace[13] rip 0000000140012903 

--> backtrace[14] rip 00000001407be4b9 

--> backtrace[15] rip 00000001407b835c 

--> backtrace[16] rip 00000001409d8a3b 

--> backtrace[17] rip 000007feff26a82d 

--> backtrace[18] rip 0000000077a4f56d 

--> backtrace[19] rip 0000000077b83281 

-->

2014-10-28T15:09:31.000+08:00 [04992 warning ‘VpxProfiler‘] ServerApp::Init [TotalTime] took 11122 ms

2014-10-28T15:09:31.000+08:00 [04992 error ‘Default‘] Failed to intialize VMware VirtualCenter. Shutting down...

2014-10-28T15:09:31.000+08:00 [04992 info ‘vpxdvpxdSupportManager‘] Wrote uptime information

2014-10-28T15:09:31.889+08:00 [03356 warning ‘VpxProfiler‘ opID=SWI-ee9b4a9d] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms

2014-10-28T15:09:43.901+08:00 [03356 warning ‘VpxProfiler‘ opID=SWI-b94098aa] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms

2014-10-28T15:09:55.913+08:00 [03356 warning ‘VpxProfiler‘ opID=SWI-898eea54] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms

2014-10-28T15:10:07.925+08:00 [03356 warning ‘VpxProfiler‘ opID=SWI-aaa55fdf] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms

2014-10-28T15:10:19.937+08:00 [03356 warning ‘VpxProfiler‘ opID=SWI-46814322] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms

2014-10-28T15:10:20.936+08:00 [04992 info ‘Default‘] Forcing shutdown of VMware VirtualCenter now

其中有几个关键字：“Init failed: Unexpected exception”，从字面看不出具体是什么原因，只能还是借助万能的google。根据关键字搜索了一下，果然有相关的文章，但很不幸，这些文章都无法解决这个问题。

7.时间一分一秒的过去，依然没什么头绪，只能不断的看网上的文章，看了好几篇的文章，虽然情况描述的不一样，但是很多都反馈vCenter服务无法启动的问题，大多数都是数据库方面问题。于是，心思重点放在oralce数据库。

8.手动重启oracle数据库服务，确认oracle数据库服务正常，然后再启动vcenter服务，还是失败。

9.继续搜索，找到一篇文章：https://communities.vmware.com/message/2151843，描述的问题很相近，于是对着文章去排查

1）在浏览器输入https://192.168.1.244:7444/ims/CommandServer，提示404错误。为了确认是不是都是提示404的，找了公司另一个正常的vCenter服务器验证，正常的提示应该是“该网站的安全证书不受信任”。

2）根据之前的经验，网站提示404，一般是找不到页面或者数据库连接错误导致。难道真的是数据库问题？继续查.......

3）netstat -na|findstr 7444，确认了端口正常。

4）根据文章的提示，SSO SERVER数据库有问题。查看日志：D:\Program Files\VMware\Infrastructure\SSOServer\logs，目录下的lookupServer日志有报错：

Caused by: java.sql.SQLException: ORA-28001: the password has expired

 at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:439)

 at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:388)

 at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:381)

 at oracle.jdbc.driver.T4CTTIfun.processError(T4CTTIfun.java:564)

 at oracle.jdbc.driver.T4CTTIoauthenticate.processError(T4CTTIoauthenticate.java:431)

 at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:436)

 at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:186)

 at oracle.jdbc.driver.T4CTTIoauthenticate.doOAUTH(T4CTTIoauthenticate.java:366)

 at oracle.jdbc.driver.T4CTTIoauthenticate.doOAUTH(T4CTTIoauthenticate.java:752)

 at oracle.jdbc.driver.T4CConnection.logon(T4CConnection.java:359)

 at oracle.jdbc.driver.PhysicalConnection.<init>(PhysicalConnection.java:531)

 at oracle.jdbc.driver.T4CConnection.<init>(T4CConnection.java:221)

 at oracle.jdbc.driver.T4CDriverExtension.getConnection(T4CDriverExtension.java:32)

 at oracle.jdbc.driver.OracleDriver.connect(OracleDriver.java:503)

 at java.sql.DriverManager.getConnection(DriverManager.java:582)

 at java.sql.DriverManager.getConnection(DriverManager.java:154)

 at org.apache.commons.dbcp.DriverManagerConnectionFactory.createConnection(DriverManagerConnectionFactory.java:78)

 at com.vmware.vim.lookup.impl.DbStorage$ConnectionFactoryWithSetup.createConnection(DbStorage.java:811)

 at org.apache.commons.dbcp.PoolableConnectionFactory.makeObject(PoolableConnectionFactory.java:582)

 at org.apache.commons.pool.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:1148)

 at org.apache.commons.dbcp.PoolingDataSource.getConnection(PoolingDataSource.java:106)

 at com.vmware.vim.lookup.impl.DbStorage$SqlExecutor.execute(DbStorage.java:698)

 ... 40 more

报错提示很明显“ORA-28001: the password has expired”，连接数据库的用户的密码过期了。是不是这个问题引起的呢？如果把密码过期问题解决了，是不是整个问题就解决了呢？不放过任何一个机会。

10.根据上面的错误提示google，找到一篇很不错的文章，顺便科普了我的oracle数据库知识。http://hi.baidu.com/5unge/item/cade17d405b4861b21e25035

Oracle提示错误消息ORA-28001: the password has expired，是由于Oracle11G的新特性所致， Oracle11G创建用户时缺省密码过期限制是180天（即6个月）， 如果超过180天用户密码未做修改则该用户无法登录。 Oracle公司是为了数据库的安全性默认在11G中引入了这个默认功能，但是这个默认的功能很容易被DBA或者是开发人员给疏忽，一旦密码180天未修改过，就会出现这样的问题。

看到这里，当前环境的数据库不就是oracle 11g的么？看到一丝丝曙光了。根据文章的步骤：

1）SELECT * FROM dba_profiles WHERE profile=‘DEFAULT‘ AND resource_name=‘PASSWORD_LIFE_TIME‘

查询密码的有效期设置，LIMIT字段是密码有效天数。查到的结果是180天。

2）select username,account_status from dba_users;查看用户的状态信息，查到很多用户几乎都是EXPIERD状态。问题又来了（不是挖掘机），哪个用户才是vCenter所使用的呢？

3）找到配置文件：D:\Program Files\VMware\Infrastructure\SSOServer\webapps\lookupservice\WEB-INF\classes\config，很明显了，用户名就是RSA_USER

4）首先去除180天的密码生存周期的限制

ALTER PROFILE DEFAULT LIMIT PASSWORD_LIFE_TIME UNLIMITED;

再查看确认，已经是unlimited状态了。

5）这样修改后，用户密码还是过期的，也就是说，还要修改用户的密码才行，为避免修改其它密码引起不必要的错误，还是用回原来的密码去修改

alter user RSA_USER identified by "your_password"; 

6）最后确认用户

11.最后，重启oracle数据库，再启动vcenter服务，结果，竟然：还不行！泪奔~~~

12.没辙了，继续放大招：重启系统。

13.奇迹出现了，vcenter服务自启动正常了。

14.用客户端测试连接，成功了。看了看时间，时间已经过去了8个小时。

心得：

1.要善于查看日志，定位问题。

2.善于利用搜索，官方的KB库，如果有现成的解决方案最好，如果没有，可以参考思路。

3.不放过任何的错误提示。

本文出自 “[reed@卢伟开~]#rm -rf /” 博客，请务必保留此出处http://luweikai.blog.51cto.com/1705672/1569146