神马文学网Informix 几种数据去重的方法
来源：百度文库 编辑：神马文学网 时间：2024/04/29 16:24:58
Informix 几种数据去重的方法 作者：play123456 出处：Unix爱好者家园unix-cd.com 更新时间： 2005年12月07日
在数据处理中经常会遇到去除重复数据的需要，由于数据格式的不同每次总是需要进行不同的操作。结合平时的运用，总结了几种简单方法。
一.利用数据库
数据量小的话可以用Access,大的话使用大型些的，如informix等。首先建立一个与源数据结构完全相同的表，根据去重的条件建立唯一索引。然后将数据通过导入工具导入该表，access将自动将插入不成功的数据过滤，对于按照索引重复的数据只能插入一条，轻易达到去重目的。此法适用于小数据量，不想写程序，一次性行为。对于大数据量的可以通过"大功率"的数据库系统采用类似的方法进行处理，如使用informix的dbload工具，忽略导入错误进行装入。
二.unix环境的shell命令
先使用sort指令将文件中的数据按照要求的索引进行排序，然后使用uniq指令将重复数据去掉得到想要的结果。如有个文件a.txt中有重复行，需要去除重复行时执行如下指令：
#sort a.txt > b.txt;
#uniq b.txt > c.txt
c.txt文件就是所需数据了.
三.编写程序
使用数据结构丰富的脚本语言可能更为方便，比如python，利用其中的字典数据结构，将索引作为Key值其它数据项作为value将数据导入内存，遇到重复时忽略错误很快就可以完成。
在数据处理中经常会遇到去除重复数据的需要，由于数据格式的不同每次总是需要进行不同的操作。结合平时的运用，总结了几种简单方法。
一.利用数据库
数据量小的话可以用Access,大的话使用大型些的，如informix等。首先建立一个与源数据结构完全相同的表，根据去重的条件建立唯一索引。然后将数据通过导入工具导入该表，access将自动将插入不成功的数据过滤，对于按照索引重复的数据只能插入一条，轻易达到去重目的。此法适用于小数据量，不想写程序，一次性行为。对于大数据量的可以通过"大功率"的数据库系统采用类似的方法进行处理，如使用informix的dbload工具，忽略导入错误进行装入。
二.unix环境的shell命令
先使用sort指令将文件中的数据按照要求的索引进行排序，然后使用uniq指令将重复数据去掉得到想要的结果。如有个文件a.txt中有重复行，需要去除重复行时执行如下指令：
#sort a.txt > b.txt;
#uniq b.txt > c.txt
c.txt文件就是所需数据了.
三.编写程序
使用数据结构丰富的脚本语言可能更为方便，比如python，利用其中的字典数据结构，将索引作为Key值其它数据项作为value将数据导入内存，遇到重复时忽略错误很快就可以完成。
Informix 几种数据去重的方法
Informix 几种数据去重的方法 - Unix爱好者家园
Informix 几种数据去重的方法 - Unix爱好者家园
介绍几种数学速算方法！
介绍几种数学速算方法！
引用 重装系统必备的几种数据 - 成靖的日志 - 网易博客
国内教改中的几种数学教学方法
Informix 的用户权限管理
国内教改中的几种数学教学方法1
几个常用的 Informix 命令
MySQL 中三种数据表的对比
影响 Informix 数据库性能的主要参数
Informix 中求时间间隔的函数
Informix 数据库灵活备份的探讨
几种系鞋带的方法
星期几的速算方法
星期几的速算方法！
几种禅定的方法
钓鱼的几种方法
安装 Informix 的产品时需要设置哪些环境变量
实现 Informix 的 ontape 零级备份自动完成
Informix 如何更加有效的创建主键和外键
Informix 培训教材整理之02 CPU虚处理器的配置
Informix 数据库灵活备份的探讨 - Unix爱好者家园