RankNet学习思路
整理了一下学习ranknet需要知道的几点：
1、ranknet是从概率角度，利用pairwise解决排序问题；
2、最终我们学习的是一个为搜索结果打分的函数（Scoring Function），这个函数的作用是用来给搜索结果排序的，函数中带有未知参数，RankNet会帮你把参数训练出来，这个Scoring Function在这里并不是RankNet中特定的，因此只要提供的Scoring Function是smooth的，也就是可导的，那么就可以灌入RankNet中求解，至于Scoring Function的设计，并不是RankNet的责任，甚至可以直接选择一个线性函数f(x)=wx; 但由于RankNet是用神经网络训练的，而神经网络说到底又是用梯度下降来训练的；
3、把样本两两组成一个pair，对于一个pair，有两个概率需要定义，一个是预测概率：
s_i代表f(x_i)的预测结果。这就是一个sigmod函数，其物理意义就是第i个样本排在第j个样本前面的概率，还有一个概率是真实概率，定义如下：
S_i_j取{0，1，-1}，如果i比j相关，则取1，相同取0，不相关取-1；
4、P_i_j保持一致性，即如果i比j相关，j比k相关，则i一定比k相关；通过P_i_j的定义，可能容易推出：
令P_i_j=P_j_k=p，则p和P_i_k的关系如下：
容易看出，当p>0.5时，即i>j,j>k，有P_i_k>0.5,即i>k。说明概率具有一致性；
5、使用交叉熵来作为训练损失函数：
容易推出：
损失函数C对排序函数中的w求导，可以得到：
S_i_j是训练样本目标，s_i，s_j是当前神经网络模型输入出，剩下就是神经网络对参数求导了。
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
