使用python向Redis批量导入数据
浏览数：143 /
时间：2015年06月08日
1.使用pipeline进行批量导入数据
class Redis_Handler(Handler):
def connect(self):
#print self.host,self.port,self.table
self.conn = Connection(self.host,self.port,self.table)
def execute(self, action_name):
filename = "/tmp/temp.txt"
batch_size = 10000
with open(filename) as file:
try:
count = 0
pipeline_redis = self.conn.client.pipeline()
for lines in file:
(key,value) = lines.split(',')
count = count + 1
if len(key)>0:
pipeline_redis.rpush(key,value.strip())
if not count % batch_size:
pipeline_redis.execute()
count = 0
#send the last batch
pipeline_redis.execute()
except Exception:
print 'redis add error'郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
