shell中有很多强大的命令，比如awk、sort、grep等，这些命令的执行效率同php和python这样的语言实现相比哪个更高呢?
回复内容：n年前为了每天分析数十gb的日志，正好做过测试。测试是在linux环境下(redhat es 3)，测试处理一个数百兆的日志文件进行汇总分析（邮件日志），分别用c, perl, python，shell做同样的处理。处理速度排名是c>>perl>python>shell。c是最快的，比别的快上至少一个数量级；其次是perl，毕竟是为文本处理而生，最强的内置正则表达式；python比perl慢了点，记得速度是perl的60%左右；shell最慢，虽然sed, grep，awk都不慢（其实都是c写的），但通过shell组合在一起效率还是差了不少。服务器上临时分析一些日志数据的时候基本都是awk sort grep uniq sed之类，性能帅得很。
如果是长期需要处理的功能，一般都会做成php或者python脚本，多数会丢crontab里运行去。
量级不大的时候，开发效率、可维护性往往比性能更重要。 当性能更重要时，shell php python这些都不是好选择。 hadoop之类的并行计算方案会更靠谱，毕竟单位节点的计算能力是很容易触顶的。处理的数据量较小的情况下，一般使用 shell。功能齐全，信手拈来，很方便，速度也很快。
在数据量较大的情况下就建议用高级语言了。如果是重复性的记得写成脚本，方便复用。
数据量大可能会导致出错以及性能问题，之前就遇到过一个问题，将一个文件作为查询条件用grep在另一个文件中查找，死活查不出来的情况...还有一个更奇葩，几百万行的一个文本用 uniq 去重之后还是各种重复。。。普通功能，shell的效率高，因为这些经典命令内部大多是c/c++实现的。
但在一些偏僻或者复杂功能中，限于这些命令本身的功能，需要“曲线救国”，反复倒腾数据才能达到最终结果。
这时候，直接用php、python，速度就更快。