linux命令 sort文本去重

对于sort 可以输出 不重复的字段的用法

sort -u <taskfile>

 

扩展 命令 sortx.sh

#!/bin/bash

/bin/sort -u $1 -o $1

 

此命令扩展 的意图 去除指定的文件中重复的单字 并写回原文件

这个命令对于基于文本处理并作模型构建的同学有方便之处 不必要自己写去重工具了

 

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。