一个python做得数据库同步

浏览数：30 / 时间：2015年06月12日

最近在做python的项目，那么今天也来介绍下python的一个项目。首先先讲一下python的特点：其实python本身主要不是为了网络开发而设计的。至于现在很多web开发python用得广泛，主要还是因为python起步容易，上手快，代码易读性很高。但是值得一说的是，真正用python做项目时，其逻辑也很复杂，并不都是那么简单。这里介绍一个数据库同步的python项目：

# -*- coding: utf-8 -*-
#‘‘‘
#Created on 2015-1-5
#@author: lianghongwei
#‘‘‘
import datetime,sys
sys.path.append(‘/home/lianghongwei/test/src/information_platform‘)
from settings import MYSQL_ROOT_PASSWORD
from base.utils.json_utils import json_loads
from base.utils.mysql_utils import get_cursor

class DataRsync:
    def __init__(self,the_date):
        self.game_list_url = ‘http://bugu.163.com/UG/AgentGameList‘ #获取游戏列表的链接，参数gid，为-1时，返回id为最大的10个游戏
        self.game_info_url = ‘http://bugu.163.com/UG/AgentGameInfo‘ #参数gid，type(1代表GAC，2代表SDC) POST的
    
        #获取数据库连接游标
#通过ajax从外部链接访问到数据
    def __post_get_data(self,url,para):
        import urllib,urllib2
        params = urllib.urlencode(para)
        #print url,params
        response = urllib2.urlopen(url,params)
        data_string = response.read()
#        print data_string
        return json_loads(data_string)
      
#数据的处理，这里是拿到数据后的处理函数，后面会重点讲这个方法
    def __save_data(self,data_id):
        cur=get_cursor(‘info_app‘)
        try:
            if  data_id:
                cur.execute(‘select id from industry_library_agent_game where name=%s‘,data_id[‘game_name‘])
#            industry_library_agent_game_review
                result=cur.fetchone()
                if result:
                    data = self.__post_get_data(self.game_info_url,{‘gid‘:data_id[‘gid‘],‘type‘:1})
#            industry_library_agent_game_review
                    values = [
                    data[‘info‘][‘inno‘],data[‘info‘][‘inno_res‘],
                    data[‘info‘][‘core‘],data[‘info‘][‘core_res‘],
                    data[‘info‘][‘biaoxia‘],data[‘info‘][‘biaoxian_res‘],
                    data[‘info‘][‘consume‘],data[‘info‘][‘consume_res‘],
                    data[‘info‘][‘shangshou‘],data[‘info‘][‘shangshou_res‘],
                    data_id[‘gid‘]]
                    sql =‘update industry_library_agent_game_review set bg_inno_res=%s,bg_core_res=%s,bg_biaoxian_res=%s,bg_consume_res=%s,bg_shangshou_res=%s  where id=%d‘
                    cur.execute(sql,values)
                    print values
                else:
                    print data_id[‘game_name‘]
                #cur.executemany(‘insert into  industry_library_agent_game (bg_info,bg_nno) values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)‘,values)
        except:
            pass
    def __resave_data(self,fid):
        data_id=self.__post_get_data(self.game_list_url,{‘gid‘:fid})
        #print data_id
        for i in range(len(data_id[‘info‘])):
        #print len(data_id[‘info‘])
            print i
            self.__save_data(data_id[‘info‘][i])
        if i<9:
            return False
        else:
            print 666
            self.__resave_data(data_id[‘info‘][i][‘gid‘])

#calData方法，用来访问数据
    def calcData(self):
        data_id=self.__post_get_data(self.game_list_url,{‘gid‘:-1})
        for i in range(len(data_id[‘info‘])):
            #print len(data_id[‘info‘])
            self.__save_data(data_id[‘info‘][i])
        self.__resave_data(data_id[‘info‘][i][‘gid‘])

   #代码运行入口   
if __name__ == "__main__":
    now = datetime.date(2013,7,9)
    t = DataRsync(now)
    t.calcData()

那么这个项目本身很简单，但是其实用到的东西并不少，首先，是加载模块，python加载模块跟c++很像，都是引入文件名，from A import B其实就是在a文件中引入B模块。很好理解吧。接下来是我们构造一个类，并在类中创建方法，第一个方法是通过ajax访问外部数据，这里也很简单，调用urlopen这个api，访问到数据。接下来是函数的核心部分，拿到数据并处理。这里用sql语句就好，拿到后也很简单，这里只有一个很简单的逻辑，就是判断是否已经存在于我方数据库，如果存在，则updata，不存在就不更新。接下来是入口函数，调用我们的类里面的方法。最后是执行入口。这是python里面一个很简单的程序，简单易懂。但是如果在做大项目时，尤其用到django框架的时候，项目就没那么简单了！

郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。

一个python做得数据库同步