结合实例来分析SQL的窗口函数
这篇主要是用举栗子的方式来理解SQL中的窗口函数,加深大家对SQL窗口函数的理解。
这个样例表是我为了好理解,随便设计的,不符合数据库设计的三范式,请忽略。
(一)标准聚合函数
标准的聚合函数有avg、count、sum、max和min,接下来分别介绍这些聚合函数的窗口函数形式。
1、移动平均窗口函数
移动平均值的定义:若依次得到测定值(x1,x2,x3,...xn)时,按顺序取一定个数所做的全部算数平均值。例如(x1+x2+x3)/3,(x2+x3+x4)/3,(x3+x4+x5)/3,....就是移动平均值。其中,x可以是日或者月,以上的可以成为3日移动平均,或3月移动平均,常用于股票分析中。
语法结构:
avg(字段名) over(partition by 字段名 order by 字段名 asc/desc rows between A and B )
-- A和B是计算的行数范围
影响行数的范围(限定计算移动平均的范围):
rows between 2 preceding and current row # 取当前行和前面两行
rows between unbounded preceding and current row # 包括本行和之前所有的行
rows between current row and unbounded following # 包括本行和之后所有的行
rows between 3 preceding and current row # 包括本行和前面三行
rows between 3 preceding and 1 following # 从前面三行和下面一行,总共五行
当order by后面缺少窗口从句条件,窗口规范默认是rows between unbounded preceding and current row.
当order by和窗口从句都缺失, 窗口规范默认是 rows between unbounded preceding and unbounded following
以v_info举个例子吧
SELECT *,
AVG(grade) OVER(ORDER BY stu_no ROWS BETWEEN 2 preceding AND CURRENT ROW) AS '三移动平均'
FROM v_info
- 对于第一行来说,没有前面两行,所以值就为当前行的值
- 对于第二行来说,前面只有一行,所以三移动平均就为第一行和第二行的平均值
影响行数范围的语句在标准的聚合函数中都适用。
2、计数(count)窗口函数
窗口 函数 count(*) over() 对于查询返回的每一行,它返回了表中所有行的计数。
语法结构:
count(字段名1) over(partition by 字段名2 order by 字段名3 asc/desc)
(1)查询出成绩在90分以上的人数
SELECT *,
COUNT(*) OVER() AS 'ct'
FROM v_info
WHERE grade>=90
这个结果说明,成绩大于90分的,有两位同学。
(2)按照课程号进行分组,找出成绩大于等于80分的学生人数
SELECT *,
COUNT(*) OVER(PARTITION BY c_no) AS 'ct'
FROM v_info
WHERE grade>=80
从结果上可以看出,课程号为“0001”的学生人数有2名;课程号为“0002”的学生人数有2名;课程号为“0003”的学生有3名。
3、累计求和(sum)窗口函数
语法结构:
sum(字段名1) over(partition by 字段名2 order by 字段名3 asc/desc)
--按照字段1进行累积求和
-- 按照字段2 进行分组
-- 在组内按照字段3进行排序
(1)根据学号排序,对学生的成绩进行累积求和
SELECT *,
SUM(grade) OVER(ORDER BY stu_no) AS '累积求和'
FROM v_info
(2)按照课程号分组,然后根据学号对成绩进行累积求和
SELECT *,
SUM(grade) OVER(PARTITION BY c_no ORDER BY stu_no) AS '累积求和'
FROM v_info
tips:一定要选择根据学号排序,要不然得出来的是最终的累积求和结果,如下图:
SELECT *,
SUM(grade) OVER(PARTITION BY c_no) AS '累积求和'
FROM v_info
4、最大(max)、最小值(min)窗口函数
语法结构:
max(字段名1) over(partition by 字段名2 order by 字段名3 asc/desc)
min(字段名1) over(partition by 字段名2 order by 字段名3 asc/desc)
(1)求成绩的累积最大值和累积最小值
SELECT *,
MAX(grade) OVER(ORDER BY stu_no) AS '累积最大值',
MIN(grade) OVER(ORDER BY stu_no) AS '累积最小值'
FROM v_info
按照学号进行排序,在累积最大值中,会依次往下找最大值,如果有比当前值大的,就更新,若没有就保持当前;最小值同理。
(2)按照课程号进行分组,再求最大、最小值
SELECT *,
MAX(grade) OVER(PARTITION BY c_no ORDER BY stu_no) AS '累积最大值',
MIN(grade) OVER(PARTITION BY c_no ORDER BY stu_no) AS '累积最小值'
FROM v_info
(3)根据学生号和课程号求成绩的累积最小值
SELECT stu_no,c_no,stu_name,sex,birth,grade,
MIN(grade) OVER(PARTITION BY stu_no,c_no) AS '累积最小值'
FROM v_info
从上图可以看出,对于stu_no,c_no分组,后面没有一样的分组,所以每个stu_no,c_no都是一组,所以累积最小值就是当前的成绩值。
(4)统计2019年10月1日-10月10日每天做新题的人的数量,重点在每天。
- 这个题的重点是在每天,所以需要求出count(时间)=10的用户ID;
- 这个题可以使用min() over()窗口函数,先根据每个做题者和试卷号,找出每个做题者的最小日期,这里和前面(3)的解题思路是一样的;
- 如果每天都做题,那么得到的日期是不一样的,所以count(时间)会等于10;
- 再对这部分的用户ID进行求和,就可以找出每天都做新题的人了。
SELECT COUNT(a.sno) AS '每天做题的人数'
(SELECT sno,
s_id,
time,
MIN(time) OVER(PARTITION BY sno,s_id) AS 'first_time'
FROM paper
WHERE DATE_FORMAT(time,'%Y-%m-%d') BETWEEN '2019-10-01' AND '2019-10-10') AS a
WHERE a.time=a.first_time
GROUP BY a.sno
HAVING COUNT(DISTINCT a.first_time)=10
(二)排序窗口函数
我在之前就更新过了,这里就不重复写了,感兴趣的可以点链接,去看我之前写的文章。
(三)分组排序窗口函数
可以按照销售额的高低、点击次数的高低,以及成绩的高低为对用户和学生进行分组,这里的考点是:取销售额最高的25%的用户(将用户分成4组,取出第一组)、取成绩高的前10%的学生(将学生分成10组,取出第一组)等等。
语法结构:
ntile(n) over(partition by 字段名2 order by 字段名3 asc/desc)
--n表示要切分的片数,如需要取前25%的用户,则需要分为4组,取前10%的用户,则需要分10组
- ntile(n),用于将分组数据按照顺序切分成n片,返回当前切片值
- ntile不支持rows between的用法
- 切片如果不均匀,默认增加第一个切片的分布
(1)取出成绩前25%的学生信息
- 第一步:按照成绩的高低,将学生按照成绩进行切片
SELECT *,
ntile(4) OVER(ORDER BY grade DESC) AS 'rank'
FROM v_info
- 第二步:按照rank筛选出第一组,则得到最终的结果如下:
SELECT a.*
(SELECT *,
ntile(4) OVER(ORDER BY grade DESC) AS 'rank'
FROM v_info) AS a
WHERE a.rank=1
(四)偏移分析窗口函数
lag() over()和lead() over()窗口函数,lag和lead分析函数可以在同一次查询中取出同一个字段的前N行数据(lag)和后N行(lead)作为独立的列。
在实际应用当中,若要用到取今天和昨天的某字段的差值时,lag和lead函数的应用就显得尤为重要了。
适用场景:获取用户在某个页面停留的起始与结束时间
语法结构:
lag(exp_str,offset,defval) over(partition by ... order by...)
lead(exp_str,offset,defval) over(partition by ... order by...)
-- exp_str表示字段名称
-- offset偏移量,假设当前行在表中排在第5行,则offset为3,则表示我们所要找的数据行就是表中的第2行(即5-3=2)
-- offset默认为1
(1)向前推1个日期
SELECT *,
LAG(birth,1,0) OVER(PARTITION BY sex) AS 'lag_1'
FROM v_info
- 第一条记录,往前推没有,则为0,因为我设置了为0,默认为NULL;
- 第四条记录是在男生组里,所以也相当于第一条记录,所以也为0;
(2)向后推1个日期
SELECT *,
LEAD(birth,1,'无') OVER(PARTITION BY sex) AS 'lead_1'
FROM v_info
- 在女生组里,第三条记录往后推1个日期是没有的,所以为无;
- 在男生组里,最后一条记录网后也是没有的,所以也为无。
(3) 统计每天符合以下条件的用户数:A操作之后是B操作,AB操作必须相邻。
用户行为表racking_log(user_id,operate_id,log_time)
解题思路:
- 先根据用户ID和日期,用LEAD()窗口函数向后获取下一步的步骤;
- AB必须相邻,则表明当前的步骤为A,而下一个步骤为B,即A向下移的步骤是B;
- “每天”,即根据日期进行分组。
SELECT a.log_date,
COUNT(DISTINCT a.user_id)
(SELECT user_id,