python mysql多条插入
程序的目的是把文本里面的数据存储到数据库中,原来的思路是读一条,插入一条,结果就是时间长的不得了。。。18万条的数据,真是慢。
后来的想法是把所有的记录都读到一个list里,结果是mysql奔溃go away,毕竟18万条,太多了。
再后来的想法就是满1000条进行一次插入,O(∩_∩)O哈哈~,效果不错,mysql没崩溃,效率提高了好几个量级。
import MySQLdb import codecs def FileToDatabase(file): conn = MySQLdb.connect(host=‘yourhost‘,user=‘username‘,passwd=‘yourpwd‘,db=‘yourdb‘) curs = conn.cursor() fp = codecs.open(file,‘r‘,‘gb2312‘)//文本编码是gb2312,所以以此方式打开 i = 0 L = [] for eachline in fp: i = i + 1 list = newline.split(‘,‘) L.append(list) if i % 1000 == 0:#满1000插入数据库 #try:#当插入的字段并非table的全部字段时,要指定插入的字段及顺序与value内的值一致 curs.executemany("insert into season1(word1,word2,word3,word4) values(%s,%s,%s,%s)",L) conn.commit()#没有提交的话,无法插入 L = [] #except: conn.rollback print ‘No.:‘+str(i) #print newline fp.close() #try:#将剩余插入数据库 curs.executemany("insert into season1(word1,word2,word3,word4) values(%s,%s,%s,%s)",L) conn.commit() #except: conn.rollback() conn.close()
对于数据库的rollback还是不太理解,以后有机会再深入了解吧
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。