mysql 实现TF-IDF 遍历不定个数的列

有这样一道题，要求使用纯mysql实现一个TF-IDF算法。

原始的输入是一个有articles表，有100列，每列存储一个单词。其实核心难点就是怎么遍历对比这100个词和指定词比如‘apple‘进行对比。首先蛮力穷举所有的列名，如word1 、word2。。。但是这样做代码肯定丑的不像样，而且如果是1000列怎么办呢。

要遍历列的话第一步是要把列名取出来。

create temporary table column_name  #建立临时表

select ORDINAL_POSITION, COLUMN_NAME #选择主位置（类似主键），列名

from information_schema.columns  

where table_name=‘articles1‘ and COLUMN_NAME like ‘word%‘;# 从 articles1表中取列,仅取出以word开头的

第二步就是要实现循环，使用循环来取出所有列名依次对比，这里主要使用到了procedure、concat、preparestatement。prcedure类似其他语言里的函数，concat涌来拼接字符串，而preparestatement用来将字符串按sql程序执行。

tip1:procedure有个坑，开始时一直调试不成功，这是因为delimiter的问题，也就是怎么样算是你的语句结束了。默认delimiter是‘;‘，但是定义procedure时因为中间不能被中断而又会有多条语句，所以先使用 delimter // 命令改变默认delimiter

create procedure pro1( 

    in article_id integer,   

    in wordmatch varchar(30) 

)  

begin

    set @wordmatch = wordmatch; #声明要匹配的词

    set @col_cnt=(select count(COLUMN_NAME) from information_schema.columns where table_name=‘articles1‘ and COLUMN_NAME like ‘word%‘); #得到列的总素数量

    set @article_id=article_id;#声明要匹配的文章id

    set @i=2;//因为的articles1表第一个字段时id，所以从第二个字段开始匹配

    set @cnt=0;//与制定单词相同的列值的个数

    while @i<=@col_cnt+1 do

            #产生需要执行的命令

            set @thiscol=(select COLUMN_NAME from column_name where ORDINAL_POSITION=@i); //从列名表中取出字段

            set @s=concat(‘set @cnt=@cnt + (select count(‘, @thiscol, ‘)‘, ‘ from articles1 where id=‘, @article_id , ‘ and ‘, @thiscol, ‘=\‘‘ , @wordmatch, ‘\‘);‘);

            prepare stmt1 from @s;

            #执行命令

            execute stmt1;                                                                                                                                            

            deallocate prepare stmt1;

        set @i=@i+1;

    end while;

    select @cnt;

end//

参考资料

[1]http://stackoverflow.com/questions/8809943/how-to-select-from-mysql-where-table-name-is-variable preparestatement用法

[2]http://www.cnblogs.com/wangtao_20/archive/2011/02/21/1959734.html  mysql中变量的使用

[2]http://blog.sina.com.cn/s/blog_71f4cdbe0100yut4.html  procedure的使用