mllib:Exception in thread "main" org.apache.spark.SparkException: Input validation failed.
浏览数：117 /
时间：2015年06月09日
当我们使用mllib做分类，用到逻辑回归或线性支持向量机做分类时，可能会出现下面的错误：
15/04/09 21:27:25 ERROR DataValidators: Classification labels should be 0 or 1. Found 3000000 invalid labels Exception in thread "main" org.apache.spark.SparkException: Input validation failed.
由于做调试时，debug输出的信息很多，我们常常忽略了上边的ERROR，而特别关注Input validation failed。
寻找源码，先关校验数据代码如下：
// Check the data properties before running the optimizer
if (validateData && !validators.forall(func => func(input))) {
throw new SparkException("Input validation failed.")
}源码仅此而已，并未能得到解决问题的办法。然后，后来才发现错误信息还有上边儿的error。
错误信息的意思是分类标签应该是0或者1，而不能是其他值。当时我的类别标签中包含了2，正好是3000000条信息；于是将类别标签替换成0或1，编译通过。
这也证明了为什么说线性支持向量机适合做二分类的数据。当然，修改算法它也可以支持三种类别，网上有大量相关实现。
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
