level 1
silent_shang
楼主
如题,本人近期在使用sqoop同步HDFS数据到mysql数据库,由于要兼容多个业务,HDFS文件中存储的字段较多,而要导出到mysql表中字段却很少,使用sqoop命令指定字段时就没办法过滤不需要的字段,求大神指点!
下面附上数据库表信息:
1、数据库表字段:name,age
2、HDFS文件:
对应字段:entId,age,sex,name
内容:
3,11,1,timi
4,14,0,maya
4,65,0,lucy
44,22,0,timi
4,53,0,maya
4,15,null,lucy
3、执行命令
sqoop-export --connect jdbc:mysql://localhost:3306/database --username etims --password etims --table tb_user --columns "age,name" -m 1 --export-dir /user/xinyy/tb_user/201710-23
2017年10月24日 02点10分
1
下面附上数据库表信息:
1、数据库表字段:name,age
2、HDFS文件:
对应字段:entId,age,sex,name
内容:
3,11,1,timi
4,14,0,maya
4,65,0,lucy
44,22,0,timi
4,53,0,maya
4,15,null,lucy
3、执行命令
sqoop-export --connect jdbc:mysql://localhost:3306/database --username etims --password etims --table tb_user --columns "age,name" -m 1 --export-dir /user/xinyy/tb_user/201710-23