Sqoop安装配置及将mysql数据导入到hdfs中
浏览数：17 /
时间：2015年06月12日
1. 解压Sqoop以及jar包拷贝
1) Hadoop版本为1.0.4，下载sqoop版本1.4.4-1.0.0，解压。
2) 将mysql-connector的jar包（5.1.29版本）复制至sqoop解压后的lib目录下。
3) 把sqoop根目录下的sqoop-1.4.4.jar以及mysql-connector的jar包复制到hadoop根目录下的lib目录
2. 配置
在/etc/profile里配置sqoop环境变量：
export SQOOP_HOME=/home/hadoop/sqoop-1.4.4.bin__hadoop-1.0.0
export HADOOP_COMMON_HOME=/home/hadoop/usr/workspace/hadoop-1.0.4
export HADOOP_MAPRED_HOME=/home/hadoop/usr/workspace/hadoop-1.0.4
export PATH=${SQOOP_HOME}/bin:$PATH
3. 测试连接
进入${SQOOP_HOME}/bin目录, 通过shell脚本测试连接
$ ./sqoop list-databases --connect jdbc:mysql://IP_ADDRESS:3306/ --username root --password 123
如上图所示则连接mysql数据库成功！
4. 向HDFS中导入数据
通过以下shell脚本从mysql数据库向hdfs导入数据
$ ./sqoop import --connect jdbc:mysql://IP_ADDRESS:3306/DATA_BASE --table DATA_BASE --username root --password 123 -m 1
如上图所示，则数据通过MapReduce导入成功！
5. 查看结果
通过以下shell脚本，我们可以在master节点上查看，向hdfs上导入的数据
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
