Golang MySQL LOAD DATA LOCAL INFILE 使用

在往 MySQL 写入大量数据时直接 insert 效率太低,应该使用 MySQL 的 LOAD DATA LOCAL INFILE。

Golang 的 MySQL 驱动 https://github.com/go-sql-driver/mysql 支持这个用法,有用到的朋友可以参考如下代码:

	db, err := sql.Open("mysql", conf.DB)
	byts := &bytes.Buffer{}
	for _, pv := range stat {
		line := strings.Join([]string{"field1-data", "field2-data"}, "\x1F")
		byts.WriteString(line)
		byts.WriteString("\x1E")
	}

	mysql.RegisterReaderHandler("data", func() io.Reader {
		return io.Reader(byts)
	})

	_, err = db.Exec(`LOAD DATA LOCAL INFILE 'Reader::data' INTO TABLE t_pvlogs 
	CHARACTER SET UTF8 
    FIELDS TERMINATED BY X'1F'
    LINES TERMINATED BY X'1E'
	(field1, field2);`)
	if err != nil {
		fmt.Println(err)

		return
	}

	err = db.Close()
	if err != nil {
		fmt.Println(err)

		return
	}

其中:

  • 在 import 包的时候不要用 _,因为要直接使用 mysql 包
  • 设置了字段分隔符为 \x1F,行分隔符为 \x1E

---- EOF ----

本文来自:简约设计の艺术

感谢作者:88250

查看原文:Golang MySQL LOAD DATA LOCAL INFILE 使用

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。