William

在项目上线一段时间后，产品需要知道项目的一些指标，开发的时候如果没有埋点，就只能通过日志进行统计了。所以开发人员也需要了解一些日志提取的方法。

涉及到的知识：linux,shell,正则表达式等

• ##linux 基本命令

####grep/zgrep grep命令是linux的基本命令，用来提取匹配的文本；zgrep是作用于压缩文件的对应命令； -o 仅提取匹配的文字部分 -c 匹配成功的数目

####sort
sort命令是帮助我们依据不同的数据类型进行排序；sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。 -u 输出中除去重复行

####wc wc命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。 -l 将每个文件的行数及文件名输出到屏幕上

• ##正则表达式

    grep -o 'userId=[0-9]\+'
  

• ##linux管道 管道命令操作符是：”|”,它仅能处理经由前面一个指令传出的正确输出信息，也就是 standard output 的信息，对于 stdandard error 信息没有直接处理能力。然后，传递给下一个命令，作为标准的输入 standard input.

    zgrep 'example' catalina.out.2014-08-13.gz | grep -o 'userId=[0-9]\+' | sort -u | uniq | wc -l
  

• ##shell 脚本

    #!/bin/bash
    echo "example"
    for i in {3..14}
    do
        if [ $i -lt 10 ];
        then
            zgrep 'example' catalina.out.2014-08-0$i.gz | grep -o 'userId=[0-9]\+' | sort -u | uniq | wc -l
        else
            zgrep 'example' catalina.out.2014-08-$i.gz | grep -o 'userId=[0-9]\+' | sort -u | uniq | wc -l
        fi
    done