本文介绍了如何结合使用curl、grep和awk命令从http://ip.tool.chinaz.com/获取公网IP。首先,利用curl获取网页源码,然后用grep定位包含IP地址的行,最后用awk根据HTML标签进行切片,精确提取IP。
摘要由CSDN通过智能技术生成
<dd class="fz24">183.240.211.15</dd>
<dt>来自</dt>
<dd>广东省深圳市 移动<a href="http://tool.chinaz.com/contact" target="_blank" class="col-blue02 pl5">(纠错)</a></dd>
<dt>操作系统</dt>
<dd>Windows 7</dd>
<dt>分辨率</dt>
<dd id="screen">1600*900</dd>
在之前有一篇文章介绍如何通过python抓取网页,见Python抓取中文网页,但是不久之后就发现这种方式对于CSDN的个人博客的抓取行不通了。早就听说了
curl
的强大,今天就拿
curl
来试一试。
curl
的功能很强大,这里有一个
curl
使用简介,大家可以参考,其他问题请自行百度google之。这里我们只用到了最基本的--connect-timeout 和-o,以抓取本博客为例:
1、
grep
-E ’ | ’ 搜索多个关键字;
2、
awk
-F ’ | ’ 分割多个关键字;
3、
awk
-F ’ ’ ‘{ sum=sum+$1 } END { print $sum }’ 先循环执行,结束后再执行;
4、head -n 5 显示前武五行;
Linux
实现一些命令可以调取相关工具实现对文本的精准查找和匹配,常用的有
grep
、sed、
awk
等命令可以调取相应的工具。其中
grep
、sed、
awk
都是针对文本的行进行操作的。
1.
grep
命令
命令功能:是一种强大的文本搜索工具,能使用正则表达式搜索文本,然后把匹配的行显示出来。
命令格式:
grep
[-cinvABC] ‘word’ filename
参数说明:
在
Linux
系统下,我们可能会碰到这样的文件处理问题:文件1文件2将两个文件联合起来:我们可以使用
AWK
命令快速处理以上问题,代码如下所示:#! /usr/bin/
awk
BEGIN{
OFS=FS=":"
NR==FNR{
record[$2]=$1
NR>FNR{
print $1,$2,record[$2]
}脚本及测试用例下载地址:https://git...
grep
查找行 sort排序 sed编辑
awk
处理
ps -ef|
grep
java 查看所有包含关键字java的进程
ps aux|
grep
java 查看所有包含关键字java的进程,显示详细的运行信息
ps –ef|
grep
tomcat 查看所有有关tomcat的进程
ps aux 查看所有进程, 显示详细运行信息
kill -9 19979 终止线程号位19979的进程
ls -al ...
[root@localhost ~]# tar -czvf etc.tar.gz /etc
接下来将打包后的压缩包文件指定解压到/root/etc 目录中(先使用 mkdir 命令来创建/root/etc 目录):
[root@localhost ~]# tar -...
[root@localhost ~]#
curl
http://www.xxx.com/NginxStatus
Active connections: 16392
server accepts handled requests
9711388219 9711388219 225228
从根目录开始查找所有扩展名为.log的文本文件,并找出包含”ERROR”的行
find / -type f -name "*.log" | xargs
grep
"ERROR"
例子:从当前目录开始查找所有扩展名为.in的文本文件,并找出包含”thermcontact”的行
find . -name "*.in" | xargs
grep
"thermcontact"
shell脚本中
curl
带参数的命令替换,双引号不需要转义,像写json一样写字符串,
curl
命令使用单引号引起来,执行时使用$()而不是反引号``,
awk
也是同样,使用单引号把命令引起来,双引号不需要转义,像写json一样直接写出来;
以下是具体的代码:
#!/bin/bash
cd `dirname $0`
CUR_DIR=`pwd`
UID_FILE=$CUR_D...
CSDN-Ada助手:
做为测试人员python要学到什么程度?
fiddler4亲测有效,解决fiddler代理后手机的浏览器无法上网
飞天小秤砣:
花瓶charles4.5.6 抓包,夜神模拟器,解决安卓7.0以上无法抓https包,以及代理后无法上网