重复数据删除技术可以提供更大的备份容量,实现更长时间的数据保留,还能实现备份数据的持续验证,提高数据恢复服务水平,方便实现数据容灾等。重复的数据可能有这样两种情况,第一种时表中只有某些字段一样,第二种是两行记录完全一样。Oracle数据库重复数据删除技术有如下优势:更大的备份容量、数据能得到持续验证、有更高的数据恢复服务水平、方便实现备份数据的容灾。r
r
一、删除部分字段重复数据r
r
先来谈谈如何查询重复的数据吧。r
r
下面语句可以查询出那些数据是重复的:r
r
select字段1字段2cou
tfrom表名groupby字段1字段2havi
gcou
t1r
r
将上面的号改为号就可以查询出没有重复的数据了。r
r
想要删除这些重复的数据,可以使用下面语句进行删除:r
r
deletefrom表名awhere字段1字段2i
r
r
select字段1字段2cou
tfrom表名groupby字段1字段2havi
gcou
t1r
r
上面的语句非常简单,就是将查询到的数据删除掉。不过这种删除执行的效率非常低,对于大数据量来说,可能会将数据库吊死。所以我建议先将查询到的重复的数据插入到一个临时表中,然后对进行删除,这样,执行删除的时候就不用再进行一次查询了。如下:r
r
CREATETABLE临时表ASr
r
select字段1字段2cou
tfrom表名groupby字段1字段2havi
gcou
t1r
r
上面这句话就是建立了临时表,并将查询到的数据插入其中。r
r
下面就可以进行这样的删除操作了:r
r
deletefrom表名awhere字段1字段2i
select字段1,字段2from临时表r
r
这种先建临时表再进行删除的操作要比直接用一条语句进行删除要高效得多。r
r
这个时候,大家可能会跳出来说,什么你叫我们执行这种语句,那不是把所有重复的全都删除吗而我们想保留重复数据中最新的一条记录啊大家不要急,下面我就讲一下如何进行这种操作。r
r
在Oracle中,有个隐藏了自动ROWID,里面给每条记录一个唯一的ROWID,我们如果想保留最新的一条记录,我们就可以利用这个字段,保留重复数据中ROWID最大的一条记录就可以了。r
r
下面是查询重复数据的一个例子:r
r
selectarowidafrom表名ar
wherearowidr
r
selectmaxbrowidfrom表名br
wherea字段1b字段1a
dr
a字段2b字段2r
r
r
r
下面我就来讲解一下,上面括号中的语句是查询出重复数据中ROWID最大的一条记录。r
r
而外面就是查询出除了ROWID最大之外的其他重复的数据了。r
r
由此,我们要删除重复数据,只保留最新的一条数据,就可以这样写了:r
r
deletefrom表名ar
wherearowidr
r
selectmaxbrowidfrom表名br
wherea字段1b字段1a
dr
a字段2b字段2r