牛津大学神经网络语言模型 OxLM 安装及使用
预备知识
语言模型
[摘自 维基百科]
统计式的语言模型是借由一个概率分布,而指派概率给字词所组成的字串:
语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的概率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。
在语音辨识和在资料压缩的领域中,这种模式试图捕捉语言的特性,并预测在语音串列中的下一个字。
当用于资讯检索,语言模型是与文件有关的集合。以查询字“Q”作为输入,依据概率将文件作排序,而该概率代表该文件的语言模型所产生的语句之概率。
神经网络语言模型:知乎-神经网络语言模型
牛津大学神经网络语言模型论文地址:点击打开链接
依赖软件包的版本要求及安装
1.1 gcc的安装
gcc版本 >= 4.6
1.2 Boost的安装
Boost版本 >= 1.45.0
1.3 Cmake的安装
Cmake安装可能报错:
错误解决见链接点击打开链接
安装步骤
cmake ../src
简单使用
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。