文章来源：
小智
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至2384272385@qq.com举报，一经查实，本站将立刻删除。
hiveString转array_hive强制类型转换
0
今天给各位分享hiveString转array的知识，其中也会对hive 强制类型转换进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，如果有不同的见解与看法，请积极在评论区留言，现在开始进入正题！
可以自己实现一个udf，实现json字符串转map和array或着struct类型
或着使用get_json_object来获取json字符串中对应key的值
hive字符串函数
1. 字符串长度函数：length
语法: length(string A)
返回值: int
说明：返回字符串A的长度
举例：
hive select length(‘abcedfg’) from lxw_dual;
7
2. 字符串反转函数：reverse
语法: reverse(string A)
返回值: string
说明：返回字符串A的反转结果
举例：
hive select reverse(abcedfg’) from lxw_dual;
gfdecba
3. 字符串连接函数：concat
语法: concat(string A, string B…)
返回值: string
说明：返回输入字符串连接后的结果，支持任意个输入字符串
举例：
hive select concat(‘abc’,’def’,’gh’) from lxw_dual;
abcdefgh
4. 带分隔符字符串连接函数：concat_ws
语法: concat_ws(string SEP, string A, string B…)
返回值: string
说明：返回输入字符串连接后的结果，SEP表示各个字符串间的分隔符
举例：
hive select concat_ws(‘,’,’abc’,’def’,’gh’) from lxw_dual;
abc,def,gh
5. 字符串截取函数：substr,substring
语法: substr(string A, int start),substring(string A, int start)
返回值: string
说明：返回字符串A从start位置到结尾的字符串
举例：
hive select substr(‘abcde’,3) from lxw_dual;
cde
hive select substring(‘abcde’,3) from lxw_dual;
cde
hive selectsubstr(‘abcde’,-1) from lxw_dual; （和ORACLE相同）
e
6. 字符串截取函数：substr,substring
语法: substr(string A, int start, int len),substring(string A, intstart, int len)
返回值: string
说明：返回字符串A从start位置开始，长度为len的字符串
举例：
hive select substr(‘abcde’,3,2) from lxw_dual;
cd
hive select substring(‘abcde’,3,2) from lxw_dual;
cd
hiveselect substring(‘abcde’,-2,2) from lxw_dual;
de
7. 字符串转大写函数：upper,ucase
语法: upper(string A) ucase(string A)
返回值: string
说明：返回字符串A的大写格式
举例：
hive select upper(‘abSEd’) from lxw_dual;
ABSED
hive select ucase(‘abSEd’) from lxw_dual;
ABSED
8. 字符串转小写函数：lower,lcase
语法: lower(string A) lcase(string A)
返回值: string
说明：返回字符串A的小写格式
举例：
hive select lower(‘abSEd’) from lxw_dual;
absed
hive select lcase(‘abSEd’) from lxw_dual;
absed
9. 去空格函数：trim
语法: trim(string A)
返回值: string
说明：去除字符串两边的空格
举例：
hive select trim(‘ abc ‘) from lxw_dual;
abc
10. 左边去空格函数：ltrim
语法: ltrim(string A)
返回值: string
说明：去除字符串左边的空格
举例：
hive select ltrim(‘ abc ‘) from lxw_dual;
abc
11. 右边去空格函数：rtrim
语法: rtrim(string A)
返回值: string
说明：去除字符串右边的空格
举例：
hive select rtrim(‘ abc ‘) from lxw_dual;
abc
12. 正则表达式替换函数：regexp_replace
语法: regexp_replace(string A, string B, string C)
返回值: string
说明：将字符串A中的符合java正则表达式B的部分替换为C。注意，在有些情况下要使用转义字符,类似oracle中的regexp_replace函数。
举例：
hive select regexp_replace(‘foobar’, ‘oo|ar’, ”) from lxw_dual;
fb
13. 正则表达式解析函数：regexp_extract
语法: regexp_extract(string subject, string pattern, int index)
返回值: string
说明：将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符。
举例：
hive select regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 1) fromlxw_dual;
the
hive select regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 2) fromlxw_dual;
bar
hive select regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 0) fromlxw_dual;
foothebar
注意，在有些情况下要使用转义字符，下面的等号要用双竖线转义，这是java正则表达式的规则。
select data_field,
regexp_extract(data_field,’.*?bgStart\=([^]+)’,1) as aaa,
regexp_extract(data_field,’.*?contentLoaded_headStart\=([^]+)’,1) as bbb,
regexp_extract(data_field,’.*?AppLoad2Req\=([^]+)’,1) as ccc
from pt_nginx_loginlog_st
where pt = ‘2012-03-26’limit 2;
14. URL解析函数：parse_url
语法: parse_url(string urlString, string partToExtract [, stringkeyToExtract])
返回值: string
说明：返回URL中指定的部分。partToExtract的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.
举例：
hive selectparse_url(‘;k2=v2#Ref1’, ‘HOST’) fromlxw_dual;
facebook.com
hive selectparse_url(‘;k2=v2#Ref1’, ‘QUERY’,’k1′) from lxw_dual;
v1
15. json解析函数：get_json_object
语法: get_json_object(string json_string, string path)
返回值: string
说明：解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效，那么返回NULL。
举例：
hive select get_json_object(‘{“store”:
{“fruit”:[{“weight”:8,”type”:”apple”},{“weight”:9,”type”:”pear”}],
“bicycle”:{“price”:19.95,”color”:”red”}
},
“email”:”amy@only_for_json_udf_test.net”,
“owner”:”amy”
}
‘,’$.owner’) from lxw_dual;
amy
16. 空格字符串函数：space
语法: space(int n)
返回值: string
说明：返回长度为n的字符串
举例：
hive select space(10) from lxw_dual;
hive select length(space(10)) from lxw_dual;
10
17. 重复字符串函数：repeat
语法: repeat(string str, int n)
返回值: string
说明：返回重复n次后的str字符串
举例：
hive select repeat(‘abc’,5) from lxw_dual;
abcabcabcabcabc
18. 首字符ascii函数：ascii
语法: ascii(string str)
返回值: int
说明：返回字符串str第一个字符的ascii码
举例：
hive select ascii(‘abcde’) from lxw_dual;
97
19. 左补足函数：lpad
语法: lpad(string str, int len, string pad)
返回值: string
说明：将str进行用pad进行左补足到len位
举例：
hive select lpad(‘abc’,10,’td’) from lxw_dual;
tdtdtdtabc
注意：与GP，ORACLE不同，pad 不能默认
20. 右补足函数：rpad
语法: rpad(string str, int len, string pad)
返回值: string
说明：将str进行用pad进行右补足到len位
举例：
hive select rpad(‘abc’,10,’td’) from lxw_dual;
abctdtdtdt
21. 分割字符串函数: split
语法: split(string str, stringpat)
返回值: array
说明: 按照pat字符串分割str，会返回分割后的字符串数组
举例：
hive select split(‘abtcdtef’,’t’) from lxw_dual;
[“ab”,”cd”,”ef”]
22. 集合查找函数:find_in_set
语法: find_in_set(string str, string strList)
返回值: int
说明: 返回str在strlist第一次出现的位置，strlist是用逗号分割的字符串。如果没有找该str字符，则返回0
举例：
hive select find_in_set(‘ab’,’ef,ab,de’) from lxw_dual;
2
hive select find_in_set(‘at’,’ef,ab,de’) from lxw_dual;
创建虚表：
语法: length(string A)
返回值: int
说明：返回字符串A的长度
语法: reverse(string A)
返回值: string
说明：返回字符串A的反转结果
语法: concat(string A, string B…)
返回值: string
说明：返回输入字符串连接后的结果，支持任意个输入字符串
语法: concat_ws(string SEP, string A, string B…)
返回值: string
说明：返回输入字符串连接后的结果，SEP表示各个字符串间的分隔符
语法: substr(string A, int start),substring(string A, int start)
返回值: string
说明：返回字符串A从start位置到结尾的字符串
语法: substr(string A, int start, int len),substring(string A, int start, int len)
返回值: string
说明：返回字符串A从start位置开始，长度为len的字符串
语法: upper(string A) ucase(string A)
返回值: string
说明：返回字符串A的大写格式
语法: lower(string A) lcase(string A)
返回值: string
说明：返回字符串A的小写格式
语法: trim(string A)
返回值: string
说明：去除字符串两边的空格
语法: ltrim(string A)
返回值: string
说明：去除字符串左边的空格
语法: rtrim(string A)
返回值: string
说明：去除字符串右边的空格
语法: regexp_replace(string A, string B, string C)
返回值: string
说明：将字符串A中的符合java正则表达式B的部分替换为C。注意，在有些情况下要使用转义字符,类似oracle中的regexp_replace函数。
语法: regexp_extract(string subject, string pattern, int index)
返回值: string
说明：将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符。
第三个参数:
0 是显示与之匹配的整个字符串
1 是显示第一个括号里面的
2 是显示第二个括号里面的字段
语法: parse_url(string urlString, string partToExtract [, string keyToExtract])
返回值: string
说明：返回URL中指定的部分。partToExtract的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.
语法: get_json_object(string json_string, string path)
返回值: string
说明：解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效，那么返回NULL。
语法: space(int n)
返回值: string
说明：返回长度为n的空字符串
语法: repeat(string str, int n)
返回值: string
说明：返回重复n次后的str字符串
语法: ascii(string str)
返回值: int
说明：返回字符串str第一个字符的ascii码
语法: lpad(string str, int len, string pad)
返回值: string
说明：将str进行用pad进行左补足到len位
语法: rpad(string str, int len, string pad)
返回值: string
说明：将str进行用pad进行右补足到len位
语法: split(string str, string pat)
返回值: array
说明: 按照pat字符串分割str，会返回分割后的字符串数组
语法: find_in_set(string str, string strList)
返回值: int
说明: 返回str在strlist第一次出现的位置，strlist是用逗号分割的字符串。如果没有找该str字符，则返回0
返回:int。substr在str中第一次出现的位置，若任何参数为null返回null，若substr不在str中返回0，Str中第一个字符的位置为1
说明：C1 被搜索的字符串
C2 希望搜索的字符串
I 搜索的开始位置,默认为1
J 出现的位置,默认为1
24、使用两个分隔符将文本拆分为键值对：str_to_map(text[, delimiter1, delimiter2])
返回：map
Delimiter1将文本分成K-V对，Delimiter2分割每个K-V对。对于delimiter1默认分隔符是’,’，对于delimiter2默认分隔符是’=’
25、unix_timestamp() 返回当前时间戳。另外，current_timestamp() 也有同样作用。
unix_timestamp(string date) 返回 date 对应的时间戳，date 格式必须为 yyyy-MM-dd HH:mm:ss。
unix_timestamp(string date, string format) 返回 date 对应的时间戳，date 格式由 format 指定。
26、from_unixtime(int/bigint timestamp) 返回 timestamp 时间戳对应的日期，格式为 yyyy-MM-dd HH:mm:ss。
from_unixtime(int/bigint timestamp, string format) 返回 timestamp 时间戳对应的日期，格式由 format 指定。
函数说明：
NVL ：给值为 NULL 的数据赋值，
它的格式是
NVL( string1, replace_with)。
它的功能是如果string1 为 NULL，则 NVL 函数返回 replace_with 的值，否则返回 string1 的值，如果两个参数都为 NULL ，则返回NULL。
date_format:格式化时间
date_add:时间跟天数相加
date_sub:时间跟天数相减，类似与add，使用一个就ok
select date_sub(‘2019-06-29’,5);
datediff:两个时间相减
select datediff(‘2019-06-29′,’2019-06-24’);
CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;
CONCAT_WS(separator, str1, str2,…)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。
分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL， 返回值也将为 NULL。
这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间;
select concat_ws(‘-‘,str1,str2) from XX; //str为string类型的列名
COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，
产生 array 类型字段。
练习：把星座和血型一样的人归类到一起
第一步转换：
白羊座,A 孙悟空
射手座,A 大海
白羊座,B 宋宋
白羊座,A 猪八戒
射手座,A 凤姐
合并
EXPLODE(col)：将hive 一列中复杂的 array 或者 map 结构拆分成多行。
LATERAL VIEW //侧写
用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias
解释：用于和 split, explode 等UDTF 一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。
练习：将电影分类中的数组数据展开
select explode(category) from movie_info;
OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化；
/ 在over(里面使用) /
CURRENT ROW：当前行；
n PRECEDING：往前 n 行数据；
n FOLLOWING：往后 n 行数据；
UNBOUNDED：起点，
UNBOUNDED PRECEDING 表示从前面的起点，UNBOUNDEDFOLLOWING 表示到后面的终点；
/* 在over外面使用*/
LAG(col,n)：往前第n 行数据；
LEAD(col,n)：往后第 n 行数据；
NTILE(n)：把有序分区中的行分发到指定数据的组中，各个组有编号，编号从 1 开始，
对于每一行，NTILE 返回此行所属的组的编号。注意：n 必须为 int 类型。
数据：
一、查询在 2017 年 4 月份购买过的顾客及总人数
group分组一组一个值，over给每一条数据独立开窗
查询顾客的购买明细及购买总额
要将 cost 按照日期进行累加
先排序
再累加
查询顾客上次的购买时间
下次的购买时间
查询前 20%时间的订单信息
RANK() 排序相同时会重复，总数不会变，可以并列
DENSE_RANK() 排序相同时会重复，总数会减少
ROW_NUMBER() 会根据顺序计算
练习：计算每门学科成绩排名
计算每门学科成绩排名
有一个表 user_cook_recommed(用户推荐菜谱)，用sqoop从MySQL导入Hive中，表中有一个字段为array形式，导入到hive中变为String类型，如 4321,4532,337（string），现在需要获得这个array的长度
由于array传入到hive中变为string，需要先用split方法分解为array，再使用size()函数处理
相信经过小编对hiveString转array和hive 强制类型转换的介绍，你对hiveString转array了解更加地透彻了，感谢你对我们地支持与关注！
