linux_shell_拆分文件_多进程脚本

浏览数：20 / 时间：2015年06月20日

【需求场景】：一个10000w行的文件处理，多进程处理比如启动100个进程同时处理。

【方法】：拆分文件（split） ,制作shell脚本执行后台进程

【demo】:

假设处理程序为 test.php , 需要接收参数处理数据文件路径加传入参数 eg:part_01 1 【第二个参数用来辅助内部调用不同接口处理】

【方法】：

demo.data 1000w行

拆分 split -l 10000 demo.data part_

执行结果 100个文件

处理脚本，test.php

制作shell

#/bin/sh
dir=‘mulu/part_*‘
i=0
for file in `ls $dir`
do
        let "i++"
        let "j=i%2"
        nohup php test.php  $file $j > $file.res &
done

【批量kill】

todo

郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。

标签： class style log it 文件 la 数据 sp 方法 class style log it 文件 la 数据 sp 方法

相关文章