如果取出大量数据之中的重复行。

来源:百度知道 编辑:UC知道 时间:2024/05/26 16:11:38
我有个大概2MB的TXT文档数据。。
想合并其中的重复项。
EXCEL不行。数据量太大了。
请问还有什么软件可以。
只要方法可能就加50分。
谢谢。

我给你写了下面的程序来删除重复行,把下面的代码粘贴到记事本里面,保存为一个html文件(比如a.html),然后鼠标双击在浏览器里面打开,程序就可以运行了。

按照程序的提示,粘贴文件,点击鼠标,重复的行就被删除了。

程序代码如下:

粘贴所有内容在下面的文本框里面,然后:<button onclick="conv();">转换</button><br>
<textarea name=ttt style='width:100%;height:400'>111
222
333
111
444
222
</textarea>
<script type=text/javascript>function conv(){
var a=ttt.value.split('\n');
for (i=a.length-1;i>=0;i--){
dup=0;
for (j=i-1;j>=0;j--) if (a[i]==a[j]) {dup=1; break;}
if (dup) a.splice(i,1);
}
ttt.value=a.join('\n');
}</script>