gracejpw1117

2020-07-04   阅读量: 881

大数据 Hive

很多小文件需要导入到一张hive表里面,但是一个个导入非常麻烦?

扫码加入数据分析学习群

使用MSCK命令导入输入到hive表

我们有时候会遇到很多小文件需要导入到一张hive表里面,但是一个个导入非常麻烦。

假设创建一个外部表,这个表在hdfs的order文件夹里,但是这个文件夹现在是空的。所以用select * 是没有数据的。

CREATE EXTERNAL TABLE order(

order STRING

, time STRING

)

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'

LOCATION '/hive/order';

我们通过hdfs dfs -put 方式把数据导入到hdfs的order 文件夹下。

然后在hive里面输入命令 msck repair table order;

现在再select * 就有数据了。通过这种方式,可以很快导入数据到表格里面,而不用一个个alter ...add partition来导入。


34.3921 2 1 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子