【机器学习算法-python实现】最大似然估计(Maximum Likelihood)

浏览数：60 / 时间：2015年06月08日

1.背景

最大似然估计是概率论中常常涉及到的一种统计方法。大体的思想是，在知道概率密度f的前提下，我们进行一次采样，就可以根据f来计算这个采样实现的可能性。当然最大似然可以有很多变化，这里实现一种简单的，实际项目需要的时候可以再更改。

博主是参照wiki来学习的，地址请点击我

这里实现的是特别简单的例子如下（摘自wiki的最大似然）

离散分布，离散有限参数空间[编辑]

考虑一个抛硬币的例子。假设这个硬币正面跟反面轻重不同。我们把这个硬币抛80次（即，我们获取一个采样 $\text{[math]}$ 并把正面的次数记下来，正面记为H，反面记为T）。并把抛出一个正面的概率记为 $\text{[math]}$ ，抛出一个反面的概率记为 $\text{[math]}$ （因此，这里的 $\text{[math]}$ 即相当于上边的 $\text{[math]}$ ）。假设我们抛出了49个正面，31个反面，即49次H，31次T。假设这个硬币是我们从一个装了三个硬币的盒子里头取出的。这三个硬币抛出正面的概率分别为 $\text{[math]}$ , $\text{[math]}$ , $\text{[math]}$ .这些硬币没有标记，所以我们无法知道哪个是哪个。使用最大似然估计，通过这些试验数据（即采样数据），我们可以计算出哪个硬币的可能性最大。这个似然函数取以下三个值中的一个：

\text{[math]}

我们可以看到当 $\text{[math]}$ 时，似然函数取得最大值。这就是 $\text{[math]}$ 的最大似然估计。

2.实现部分

有一点要提的是，因为用到了阶乘，关于阶乘问题本来想到的方法是用递归来实现。但是google了一下发现其实python的reduce方法用起来更加方便，一句话就解决的。

def Factorial(x):
    return reduce(lambda x,y:x*y,range(1,x+1))

完整工程：

‘‘‘
Created on 2014-8-22
@author: Garvin
Maximum Likelihood theory practic

This code is base on the http://zh.wikipedia.org/wiki/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1
‘‘‘
w=2.0/3
h=49
t=31

def DefineParam():
    H=h
    T=t
    return H,T

def MaximumLikelihood(p=w):
    H,T=DefineParam()
    f1=Factorial(H+T)/(Factorial(H)*Factorial(T))
    
    f2=(p**H)*((1.0-p)**T)
    
    
    return f1*f2
    
    
def Factorial(x):
    return reduce(lambda x,y:x*y,range(1,x+1))

实现效果，对应上面的例子，当H=49,T=31，是P=2/3概率的可能性