HMM的学习笔记1:前向算法
HMM的学习笔记
HMM是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测的随机过程。
HMM由两个状态和三个集合构成。他们分别是观测状态序列,隐藏状态序列,转移概率,初始概率和混淆矩阵(观察值概率矩阵)。
HMM的三个假设:
1、有限历史性假设,p(si|si-1,si-2,...,s1) = p(si|si-1)
2、齐次性假设,(状态与具体时间无关),P(si+1|si)=p(sj+1,sj)
3、输出独立性假设,输出仅与当前状态有关,P(o1,...ot|s1,...st) = P(ot|qt)
HMM需要解决三个问题:
1:评估问题,也就是给定一个观测序列,求它的概率;
2:解码问题,通过维特比算法来做解码,求概率最大的隐藏概率;
3:学习问题,通过观测序列求参数;
现在针对第一个评估问题,通常我们采用前项算法来计算观测序列的概率;
为了解决这个时间复杂度比价高的问题,首先定义一个前向变量,便是从1到t,输出符号O序列,t时刻处于状态i的累计输出概率。
这里每一次的at(i),我们是通过at(ij-1)来计算的,这样避免了重复计算。
状态转移概率矩阵
混淆概率矩阵
还有一个初始概率矩阵我们设为(1,0, 0)吧。
有了他们我们就可以计算at(i)。
这个过程说白了就是从某个点开始,几次计算到下一个点的概率,然后累加到下一个点上去。这里要注意的一点是初始的那个点计算,只是初始矩阵和混淆矩阵的运算(不涉及转移的过程)。
代码实现了一下前项算法:
和我们手工的计算一样
int get_index(char sz) { if ( 'a' == sz) { return 0; } else { return 1; } } void testa() { ifstream in_a("A.txt"); double start[3] = {1, 0, 0}; double A[3][3] = {0}; double B[3][2] = {0}; double C[3][4] = {0}; char sz_array[] = "abab"; int i, j, k; double (*p)[3]; (p) = A; int row, col; in_a >> row >> col; for (i = 0; i < row; ++i) { for (j = 0; j < col; ++j) { in_a >> A[i][j]; } } in_a >> row >> col; for (i = 0; i < row; ++i) { for (j = 0; j < col; ++j) { in_a >> B[i][j]; } } in_a >> row >> col; for (i = 0; i < 3; ++i) { for (j = 0; j < 4; ++j) { in_a >> C[i][j]; } } // // 初始化 // for (i = 0; i < 3; ++i) { C[i][0] = B[i][get_index(sz_array[0])] * start[i]; } for (i = 1; i < 4; ++i) { for (j = 0; j < 3; ++j) { for (k = 0; k < 3; ++k) { C[k][i] += C[j][i-1] * A[j][k] * B[k][get_index(sz_array[i])]; } } } for (int m = 0; m < 3; ++m) { for (int n = 0; n < 4; ++n) { cout << C[m][n] << " "; } cout << endl; } in_a.close(); }
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。