GNU Parallel: 并行执行Linux命令
浏览数：15 /
时间：2015年06月20日
今天在Stack Overflow上看到一个很有趣的问题, 问题的大意是:
需要用一个脚本处理一个文本文件, 但这个文本文件可能很大, 由于处理脚本的问题, 希望每次能够只处理该文本文件的若干行, 就像 xargs 一样, 而且不能使用split来分割文件, 也不允许生成临时文件.
如果允许使用临时文件的话, 那么用bash script并不难实现, 若不能使用临时文件, 那么可以使用GNU Parallel工具来实现. 实现的方法如下:
cat giantfile.txt | parallel -j 8 --pipe -L 50000 import_script-j 8 : 表示并行jobs的数量, 不想并行执行可以设置为 1. 也可以不加 -j 选项, 则默认为每个CPU核运行一个job.
--pipe: 表示从stdin 读取一块数据, 并将每块数据分给各个jobs
-L N: 一次最多读取N行数据
这里有一篇 parallel 的教程: http://www.gnu.org/software/parallel/parallel_tutorial.html
这是翻译版本: http://my.oschina.net/enyo/blog/271612
这里介绍了一些 parallel 与其他 Linux 命令一起使用的例子: http://www.vaikan.com/use-multiple-cpu-cores-with-your-linux-commands/
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
