Hive分区表和桶表的使用

软件工程

  我们看官网文档中这个地方

  我们先创建好数据库,以供练习

  使用数据库

  我们创建数据表

  我们创建分区表,选取的字段不能是表中存在的字段

  元数据信息

  Formatted信息

  那我们加载信息

  load data local inpath '/data/hivetest/dept.txt' into table dept_partition partition(bmbh=1);

  我们查看数据

  我们看下HDFS上,是目录的形式

  所以我们可以多加载几份数据

  查看数据和HDFS上

  也可以创建二级分区

  载入数据

  查看下数据

  查看下元数据

  再看下HDFS

  我们就可以依据条件查询使用where语句

  注:分区表可以提高查询的效率。

  我们再看这个地方-桶表

  这个和分区表不一样的地方,选取字段必须是表里的字段

  我们准备个员工表

  我们创建下桶表

  我们加载下数据

  看下HDFS

  实际在桶表中,我们应该使用另外一种语句

  运行过程

  出现了点问题

  三个节点时间不同步,设定下时间

  date -s "2022-12-5 17:50:00"

  再执行就可以了

  查看结果

  我们看HDFS上

  我们查看下文件,已经分开了,如果有问题看看你的hive版本是否有这个属性没有打开。hive.enforce.bucketing。

  注:其中桶表查询还有下面的语句,可以仔细研究下,暂时先放一放,后续学习深入再了解。

  Select * from table tablesample(bucket 1 out of 2)

  Tablesample是抽样数据,语法tablesample(bucket x out of y)y必须是table总bucket数的倍数或者因子。Hive根据y的大小,决定抽样比例。例如:table总共分为64份,当y=32时,抽取(64/32)2个bucket数据;当y=128时,抽取(64/128)1/2个bucket数据,x表示从哪个bucket开始抽取,例如table总bucket数为32,tablesample(3 out of 16),表示总共抽取(32/16)2个bucket数据,分别为第3个bucket和第(3+16)19个bucket数据。

标签: 软件工程