python mysql多条插入

程序的目的是把文本里面的数据存储到数据库中,原来的思路是读一条,插入一条,结果就是时间长的不得了。。。18万条的数据,真是慢。

后来的想法是把所有的记录都读到一个list里,结果是mysql奔溃go away,毕竟18万条,太多了。

再后来的想法就是满1000条进行一次插入,O(∩_∩)O哈哈~,效果不错,mysql没崩溃,效率提高了好几个量级。

import MySQLdb
import codecs

def FileToDatabase(file):
    conn = MySQLdb.connect(host=yourhost,user=username,passwd=yourpwd,db=yourdb)
    curs = conn.cursor()
    fp = codecs.open(file,r,gb2312)//文本编码是gb2312,所以以此方式打开
    i = 0
    L = []
    for eachline in fp:
        i = i + 1               
        list = newline.split(,)
        L.append(list)
        if i % 1000 == 0:#满1000插入数据库
            #try:#当插入的字段并非table的全部字段时,要指定插入的字段及顺序与value内的值一致
                curs.executemany("insert into season1(word1,word2,word3,word4) values(%s,%s,%s,%s)",L)
                conn.commit()#没有提交的话,无法插入
                L = []
            #except:
                conn.rollback print No.:+str(i)
        #print newline
    fp.close()
    #try:#将剩余插入数据库
    curs.executemany("insert into season1(word1,word2,word3,word4) values(%s,%s,%s,%s)",L)
    conn.commit()
    #except:
    conn.rollback() 
    conn.close()

对于数据库的rollback还是不太理解,以后有机会再深入了解吧

python mysql多条插入,古老的榕树,5-wow.com

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。