把Spark SQL的metadata存储到mysql
浏览数：29 /
时间：2015年06月12日
1：安装配置mysql
yum install mysql mysql-server
service mysqld start
mysqladmin -u root password newpassword
mysql -u root -p
登录mysql
mysql>GRANT ALL PRIVILEGES ON *.* TO ‘root‘@‘%‘WITH GRANT OPTION
myslq>FLUSH PRIVILEGES
2:配置hive-site.xml
下载一个hive的安装包，加压后复制conf目录下面的hive-default.xml.template到SPARK_HOME/conf中，重命名为hive-site.xml
修改4个重要属性：
1：javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.1.93:3306/sparkmetadata?createDatabaseIfNotExist=true&characterEncoding=UTF-8
2：javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
3：javax.jdo.option.ConnectionUserName
root
4: javax.jdo.option.ConnectionPassword
xxx
然后修改Hive-site.xml中所有的时间属性，所有属性的单位为s(秒),删除s然后添加3个0,所有属性的单位为ms的删除ms,spark无法识别这些单位，而是把他们全当数字处理。
3:启动spark-sql
在spark-sql的shell下面创建表，查看mysql的database:sparkmetadata中的表：TBLS是否包含该记录，如果有说明一切OK。
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
