Hive 数据类型

1 基本数据类型

Hive 中的基本数据类型也称为原始类型,包括整数、小数、文本、布尔、二进制以

及时间类型。

        整数:TINYINT、SMALLINT、INT、BIGINT

        小数: FLOAT、DOUBLE、DECIMAL

        文本: STRING、CHAR、VARCHAR

        布尔:BOOLEAN

        进制:BINARY

        时间: DATE、TIMESTAMP、INTERVAL

        上述数据类型都是对 Java 中的接口的实现,所以类型的具体行为细节和 Java 中对

应的类型完全一致。比如 STRING 类型实现的是 Java 中的 String,FLOAT 类型实现的是

Java 中的 float。

1.整数类型

        Hive 具有 4 种带符号的整数类型:TINYINT、SMALLINT、INT、BIGINT,分别对

应 Java 中的 byte、short、int、long,字节长度分别为 1、2、4、8 字节。在使用整数变

量时,默认情况下为 INT,如果要声明为其他类型,须通过后缀来标识。

2.小数类型(浮点型)

        小数类型也称为浮点类型,包括 FLOAT 和DOUBLE 两种,对应Java 中的 float 和

double,分别为 32 位和 64 位浮点数。

        此外,Hive 还可以使用 DECIMAL 来表示任意精度的小数,类似于 Java 中的

BigDecimal,其通常在货币当中使用。

3.文本类型

        文本类型也称为字符串类型,使用单引号或双引号来指定。Hive 有 3 种类型用于存

储文本。

        (1) STRING 存储可变长的文本,对长度没有限制。理论上 STRING 的存储空间为

2GB,但是存储特别大的对象时效率会受影响,此时可以考虑使用 Sqoop 提供的大对象

支持。

        (2)VARCHAR 与 STRING 类似,但其存储字符串的长度要求在 1~65355 之间,

超出部分将被截断,例如 VARCHAR(20)。

        (3)CHAR 以固定长度来存储字符串,最大固定长度为 255,例如 CHAR(20)。

注意

        VARCHAR(20)与 CHAR(20)的区别是:如果存入的字符串长度为 10,则

VARCHAR(20)占用实际字符串长度为 10,而 CHAR(20)占用实际字符串长度仍为

20,未使用的空间将会用空格填充。

4.布尔及二进制类型

        布尔(BOOLEAN)类型值有 true 和 false 两种。

        进制类型BINARY用于存储变长的二进制数据,如10110。

5.时间类型

        DATE 类型用于描述特定的年月日,以 yyyy-MM-dd 格式表示,例如 2024-03-14。

        TIMESTAMP突在储的秒级别的时间截。TIMESTAMP 与时区无关,存储UNI纪元(1970-01-01 00:00:00) 的偏移量,其常见用法如下。

(1)unix timestamp()函数

        >使用unix_timestamp0函数得到当前时间戳

        >使用unix_timestamp(string date)将“yyyy-MM-dd HH:mm:ss”格式的字符串转为

时间戳。

        > 使用unix_timestamp(string datestring format)将指定字符串(如“2024-03-14”

按指定格式(如“yyyy-MM-dd”) 转为时间戳。

(2)from unixtime()函数

        使用from_unixtime(timstamp,'yyyy-MM-dd HH:mm:ss ')将指定时间戳以指定格式

显示。

(3) cast()函数

        >cast0函数用于在 TIMESTAMP、DATE、STRING 类型之间做转换,举例如下:

        >cast(date as date):返回相同的日期。

        >cast(date as timestamp): 基于本地时区,返回对应 00:00:00 时间戳的日期

        >cast(date as string): 日期被转换为“yyyy-MM-dd”格式的字符串。

        >cast(timestamp as date):基于本地时区确定时间戳的年月日,并将其作为值返回。

        >cast(string as date): 如果字符串的格式为“yyyy-MM-dd”,则返回对应的日期否则返回 NULL。

        INTERVAL 类型表示时间间隔,其仅被 Hive 1.2.0 之后的版本支持。

2.复杂数据类型

        在 SQL 的表设计中,字段通常不能被再分解,这意味着每一个字段不能再被分割成多个字段。

        与 SQL 不同,HiveQL 没有上述局限性。Hive 的表字段不仅可以是基础数据类型还可以是复杂数据类型(Complex Types)。Hive 有 4 种常用的复杂数据类型,分别是数组(ARRAY)、映射(MAP)、结构体 (STRUCT)和联合体(UNIONTYPE)。

1.ARRAY 和 MAP

        ARRAY 是具有相同类型变量的集合。这些变量称为数组的元素,每个数组元素都

一个索引编号,编号从零开始。

        数据格式:['Apple',' Orange','Mongo']

        定义示例:array

        使用示例:a[0]='Apple

        其中,a 表示表字段名,该字段的类型为 ARRAY,允许存储的数据为 string,起始

访问索引为 0。

        MAP 是一组键值对集合,key 只能是基本类型,值可以是任意类型。

        数据格式:['A':'Apple', 'O':'Orange']

        定义示例:map

        使用示例: b['A']='Apple'

        其中,b表示表字段名,该字段的类型为 MAP,允许存储一个类型的

键值对,直接按键访问即可。

2.STRUCT

        STRUCT 封装了一组有名字的字段(Named Field),其类型可以是任意的基本类型 ,结构体内的元素使用“.”来访问。

        数据格式:{'Apple',2}

        定义示例:struct

        使用示例:c.weight=2

        其中,c表示表字段名,该字段的类型为 STRUCT,包含两个元素“fruit”和“weight”,对元素的访问方式类似于 Java 中访问对象的属性。

3.UNIONTYPE

        在给定的任何一个时刻,UNIONTYPE 类型可以保存指定数据类型中的任意一种

其类似于 Java 中的泛型,在任一时刻只有其中的一个类型生效。

        UNIONTYPE 的特点是可以存储任何已定义的类型,但是同一时刻只能使用其中一种类型。

注意

        目前 Hive对 UNIONTYPE 类型的支持还不够完善,在这种类型的字段上进行 join、where、group by 操作将会失败。