在日常数据查询中,多有需要进行数据去重的查询,或删除重复数据的情况,以下罗列集中数据去重查询:
1、根据
全部字段
的去重查询:
select distinct * from table
2、根据
某些字段
的去重查询(
不考虑查询其他字段
)
select distinct c_name,c_year,c_month from table
select c_name,c_year,c_month from table
group by c_name,c_year,c_month
3、根据
某些字段
的去重查询(
考虑查询其他字段
)
如果其他字段所有结果值都想保留,建议直接用group by 和group_concat即可
select c_name,c_year,c_month,group_concat(',') c_values from table
group by c_name,c_year,c_month
4、根据某些字段的去重查询,查询
重复项以外
的全部数据
一般去重是根据时间、ID等,如时间最新/ID最大/value最大等等;
此处
示例
重复数据中
ID小的是原始项
,
ID大的是重复项;
如果
要看新的数据,则将以下的
min
改为
max
,也可根据自身情况调整其他字段。
select * from tableA
where c_id in
(select min(c_id) minid from tableA
group by c_name,c_year,c_month
select * from tableA
where c_id not in
(select min(c_id) minid from tableA
group by c_name,c_year,c_month
having count(*)>1
5、根据某些字段的去重查询,查询重复项(不包含原始项,只查询重复项)
select * from tableA
where c_id not in
(select min(c_id) minid from tableA
group by c_name,c_year,c_month
6、根据某些字段,查询出所有重复的数据(包含原始项和重复项)
select * from tableA a
right join
(select c_name,c_year,c_month from table A
group by c_name,c_year,c_month
having count(*)>1) b
on a.c_name=b.c_name
and a.c_year=b.c_year
and a.c_month=b.c_month
7、根据某些字段,删除重复的数据(示例ID最小的是要保留的数据,其他都是不要的)
从思路上来讲,应该(实际上会出错):
delete from tableA
where c_id not in
(select min(c_id) minid from tableA
group by c_name,c_year,c_month
但是此时会报错: You can't specify target table for update in FROM clause
原因是:在同一张表,不能先查询某些值,再进行update操作
解决方法是:需要先把查询处理的id结果,as 一张表,再做delete操作,调整如下:
delete from tableA
where c_id in (
select * from
(select c_id from tableA
where c_id not in
(select min(c_id) from tableA
group by c_name,c_year,c_month
delete from tableA
where c_id in(
select * from (
select c_id from tableA
where c_id in
(select max(c_id) from tableA
group by c_name,c_year,c_month
having count(*)>1
以上就是几种去重的查询方法,可根据自身业务场景做调整。
在日常数据查询中,多有需要进行数据去重的查询,或删除重复数据的情况,以下罗列集中数据去重查询:1、根据全部字段的去重查询:select distinct * from table2、根据某些字段的去重查询(不考虑查询其他字段)select distinct c_name,c_year,c_month from table或者:select c_name,c_year,c_month from table group by c_name,c_year,c_month3、根据
一 distinct
含义:distinct用来查询不重复记录的条数,即distinct来返回不重复字段的条数(count(distinct id)),其原因是distinct只能返回他的目标字段,而无法返回其他字段
用法注意:
1.distinct【查询字段】,必须放在要查询字段的开头,即放在第一个参数;
2.只能在SELECT 语句中使用,不能在 INSERT, DELETE, UPDATE 中使用;
3.DISTINCT 表示对后面的所有参数的拼接取 不重复的记录,即查出的参数拼接每行记录都是唯一的
4.不能与all同时使用,默认情况下,查询时返回的就是所有的结果。
1.1只对一个字段
【中级】按照单个字段的重复去重
例如:对id字段去重
使用方法:获取id的重复字段的值,利用相同id字段所在的行中,比较出数据不同的字段,删除 除了最小(或最大)的字段所在的该行之外的所有重复的行。一般使用主键来比较,因为主键的值一定是唯一值,绝对不相同。
id name
1 a
1 b
2 c
2 a
3 c
id name
1 a
2 a
delete from a_tmp
where id in (select
丿潇湘丶书笛:
Mysql去重查询(根据指定字段去重)
不想脱发的野生小程: