04.Hive3.1.2安装教程

[TOC]前言本篇安装的是单机版Hive3.1.2安装教程。环境准备CentOS 7.X环境JDK1.8hadoop3.2.1(伪分布式)可参考文章:CentOS7 Hadoop安装教程一、安装1.1 将apache-hive-3.1.2-bin.tar.gz安装包上传到服务器[hadoop@hadoop001 sources]$ sudo rz1.2 将安装包解压到/opt/softwar...

大数据 2021-11-30 PM 978次 0条

CentOS7.X系统安装必要配置

一、IP配置刚装进行安装的CentOS7是没有IP地址的,需要对配置文件进行配置1.1 修改网卡配置文件# (最后一个为网卡名称) vi /etc/sysconfig/network-scripts/ifcfg-ens33 #修改ONBOOT将no改成yes ONBOOT=yes1.2 修改后重启网络服务systemctl restart network1.3 查看本机IP地址ip add...

工具 2021-11-28 PM 1094次 0条

CentOS7.9安装教程

[TOC]前言本次安装使用的虚拟机:VMware Workstation 16 Pro,大家可使用自身的虚拟机进行安装。安装CentOS版本:CentOS-7-x86_64-DVD-2009.iso一、下载镜像文件地址:https://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/PS:本链接是直接通过阿里云镜像进行下载的,比官网下载链接快太多...

工具 2021-11-28 PM 1550次 0条

03.Hive和数据库比较

[TOC]前言​ 由于Hive采用了SQL的查询语言HQL,因此很容易将Hive理解为数据库。其实从结构上来看,Hive和数据库除了拥有类似的查询语言,再无类似之处。数据库可以用在Online的应用中,但是Hive是为数据仓库而设计的,清楚这一点,有助于从应用角度理解Hive的特性。一、Hive和传统数据库对比属性Hive传统数据库查询语言HQLSQL数据存储位置HDFSRaw...

大数据 2021-11-27 PM 871次 0条

02.Hive架构原理

[TOC]前言本篇Hive架构原理在来回顾一下Hive的本质。Hive本质:是将HQL语句转化成MapReduce程序。在它的底层:HDFS负责存储数据;YARN负责进行资源管理;MapReduce负责数据处理。一、Hive架构说明用户接口:ClientCLI(command-line interface)、JDBC/ODBC(jdbc 访问 hive)、WEBUI(浏览器访问 hive)元...

大数据 2021-11-27 PM 808次 0条

01.Hive基本概念

[TOC]一、Hive简介最初,Hive是由Facebook开发,后来由Apache软件基金会开发,并作为进一步将它作为名义下Apache Hive为一个开源项目。Hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将...

大数据 2021-11-27 PM 765次 0条

MySQL高级应用窗口函数(四)

[TOC]前言本篇将通过示例讲解:偏移分析函数+over()一、偏移分析函数概念lag(col,n,default):用于统计分组内往上第n行值。第一个参数为列名第二个参数为往上第n行(可选,不填默认为1)第三个参数为默认值(当往上第n行为NULL时候,取默认值,如不指定,则为NULL)lead(col,n,default):与lag相反,统计分组内往下第n行值。第一个参数为列名第二个参数为...

Java 2021-11-21 PM 893次 0条

MySQL高级应用窗口函数(三)

[TOC]前言本篇将通过示例讲解窗口函数中的组内排序函数:排序函数+over()一、排序函数说明row_number():会生成数据项在分组中的排名,排名即便相等也不会有并列排名,相同排名随机排序。rank():可以生成数据项在分组中的排名,排名相等时会产生并列排名,然后会在名次中留下空位。dense_rank():可以生成数据项在分组中的排名,排名相等时会产生并列排名,但不会在名次中留下空...

Java 2021-11-21 PM 934次 0条

MySQL高级应用窗口函数(二)

[TOC]前言本篇将介绍通过聚合函数+over()示例,对窗口函数做一个更好的了解。常用的聚合函数包括:sum():累加求和avg():求平均值max/min():求最大/最小值count():统计行的数量一、数据准备2020~2021年电商平台订单信息表user_order创建语句CREATE TABLE `user_order` ( `user_name` varchar(20) D...

Java 2021-11-18 PM 1177次 0条

MySQL高级应用窗口函数(一)

[TOC]前言一般我们经常使用的函数分为两类:普通函数和聚合函数。但是这两类函数对于一些相对复杂的报表统计分析场景实现起来相对麻烦。本篇将讲述第三种函数:窗口函数。MYSQL 从 8.0.2 版本起开始支持窗口函数,这个功能在大多商业数据库和部分开源数据库中早已支持。我们平常使用SQL语句中Hive、SparkSQL、Oracle、SQL Server都很早就开始支持窗口函数。本来本篇内容想...

Java 2021-11-17 PM 1118次 0条