sqoop操作之ORACLE导入到HIVE
浏览数：42 /
时间：2015年06月12日
导入表的所有字段
sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \ --username SCOTT --password tiger \ --table EMP \ --hive-import --create-hive-table --hive-table emp -m 1;
如果报类似的错:
ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory EMP already exists
先去HDFS系统中删除该文件： hadoop fs -rmr /user/hadoop/EMP
如果报类似的错：
FAILED: Error in metadata: AlreadyExistsException(message:Table emp already exists)
如果报类似的错：
hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B
这是因为在同路径下安装了hive和hbase，而hbase和hive的lib目录下的thrift版本不同。
hbase下的为libthrift-0.x.0.jar，hive下的为libthrift-0.x.0.jar。将Hbase下的0.x.0版的删除，换为0.x.0的即可。
ps：不知为什么Sqoop向Hive中导入数据还有Hbase的事；
说明：hive表已经存在，需要先删除。
查看:
desc emp; empno double ename string job string mgr double hiredate string sal double comm double deptno double
select * from emp; 7369.0 SMITH CLERK 7902.0 1980-12-17 00:00:00.0 800.0 NULL 20.0 7499.0 ALLEN SALESMAN 7698.0 1981-02-20 00:00:00.0 1600.0 300.0 30.0 7521.0 WARD SALESMAN 7698.0 1981-02-22 00:00:00.0 1250.0 500.0 30.0 7566.0 JONES MANAGER 7839.0 1981-04-02 00:00:00.0 2975.0 NULL 20.0 7654.0 MARTIN SALESMAN 7698.0 1981-09-28 00:00:00.0 1250.0 1400.0 30.0 ……
注：一般情况下不使用--create-hive-table去创建表的，因为它创建的表的字段格式，不符合我们的要求。
导入表的指定字段
手工创建hive表：
create table emp_column( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) row format delimited fields terminated by ‘\t‘ lines terminated by ‘\n‘ stored as textfile;
sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \ --username SCOTT --password tiger \ --table EMP --columns "EMPNO,ENAME,JOB,SAL,COMM" \ --fields-terminated-by ‘\t‘ --lines-terminated-by ‘\n‘ \ --hive-drop-import-delims --hive-import --hive-table emp_column \ -m 3;
说明：重新再执行,每重复导入一次，hive中的数据会重复导入。
sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \ --username SCOTT --password tiger \ --table EMP --columns "EMPNO,ENAME,JOB,SAL,COMM" \ --fields-terminated-by ‘\t‘ --lines-terminated-by ‘\n‘ \ --hive-drop-import-delims --hive-overwrite --hive-import --hive-table emp_column \ -m 3;
注：--hive-overwrite指定覆盖表里已经存在的记录，99%都是要使用overwrite的，避免重跑时产生重复数据。
导入表的指定字段到hive分区表
创建hive分区表：
create table emp_partition( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) partitioned by (pt string) row format delimited fields terminated by ‘\t‘ lines terminated by ‘\n‘ stored as textfile;
导入pt=‘2013-08-01‘
sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \ --username SCOTT --password tiger \ --table EMP --columns "EMPNO,ENAME,JOB,SAL,COMM" \ --hive-overwrite --hive-import --hive-table emp_partition \ --fields-terminated-by ‘\t‘ --lines-terminated-by ‘\n‘ \ --hive-drop-import-delims --hive-partition-key ‘pt‘ --hive-partition-value ‘2013-08-01‘ \ -m 3;
导入pt=‘2013-08-02‘
sqoop import --connect jdbc:oracle:thin:@192.168.1.107:1521:ORCL \ --username SCOTT --password tiger \ --table EMP --columns "EMPNO,ENAME,JOB,SAL,COMM" \ --hive-overwrite --hive-import --hive-table emp_partition \ --fields-terminated-by ‘\t‘ --lines-terminated-by ‘\n‘ \ --hive-drop-import-delims --hive-partition-key ‘pt‘ --hive-partition-value ‘2013-08-02‘ \ -m 3;
查询：
select * from emp_partition where pt=‘2013-08-01‘; select * from emp_partition where pt=‘2013-08-02‘;
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
