更多>> 关于我们

西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web（网站）数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构，日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池，可以有效获取互联网任何公开可见信息。

您只需告诉我们您想抓取的网站是什么，您感兴趣的字段有哪些，你需要的数据是哪种格式，我们将为您做所有的工作，最后把数据（或程序）交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

【经验分享】使用Frida脚本强制给okhttp3.OkHttpClient设置代理。
背景：某些应用使用Proxy.NO_PROXY跳过系统代理设置（例如附图），导致代理模式无法抓到HTTPS流量。

脚本如下：
Java.perform(function(){
// OkHttpClient强制设置代理
var OkHttpClient = Java.use("okhttp3.OkHttpClient");
var OkHttpBuilder = Java.use("okhttp3.OkHttpClient$Builder");
var Proxy = Java.use("java.net.Proxy");
var ProxyType = Java.use("java.net.Proxy$Type");
var InetSocketAddress = Java.use("java.net.InetSocketAddress");
// 要设置的代理
var proxy = Proxy.$new(ProxyType.SOCKS.value, InetSocketAddress.createUnresolved("IP", int_port));

OkHttpClient.newBuilder.overload().implementation = function() {
return OkHttpBuilder.$new();
}
OkHttpBuilder.build.overload().implementation = function() {
console.log('[+] Installing proxy');
this.proxy(proxy);
return this.build();
}
OkHttpBuilder.proxy.overload("java.net.Proxy").implementation = function(input_proxy) {
console.log('[+] Changing proxy');
return this.proxy(proxy);
}
});

function lookup_okhttpclient(){
// 查看内存中的okhttp3.OkHttpClient实例的代理
Java.perform(function(){
Java.choose('okhttp3.OkHttpClient',
{
onMatch: function (instance){
console.log('Found instance: ' + instance + ', Current proxy: ' + instance.proxy());
},
onComplete: function ()
{
}
});
});
}

另外，通过调用lookup_okhttpclient()可以动态查看内存中okhttp3.OkHttpClient实例的代理设置情况。

• 

发布时间：2022-11-09 20:33:36

【经验分享】系统日期不正确可能会导致出现证书错误。
给Nexus 6P刷机后，发现在浏览器内不管访问什么网站都提示证书错误（如附图1所示），在Termux里更新源也是证书错误（如附图2所示）。折腾了很长时间才发现原来是系统日期设置的不正确，如附图3所示。系统日期异常导致证书未生效过着已过期。 ​​​

• 
• 
• 

发布时间：2022-11-05 12:17:51

【经验分享】apache mod_proxy实现url转发时如何避免后端域名的DNS缓存

方法如下示例，加项disablereuse=On配置项即可：
ProxyPass / http://后端域名/ retry=0 disablereuse=On

关于disablereuse参数mod_proxy文档（ https://httpd.apache.org/docs/2.4/mod/mod_proxy.html ）有说明：
This parameter should be used when you want to force mod_proxy to immediately close a connection to the backend after being used, and thus, disable its persistent connection and pool for that backend. This helps in various situations where a firewall between Apache httpd and the backend server (regardless of protocol) tends to silently drop connections or when backends themselves may be under round- robin DNS. When connection reuse is enabled each backend domain is resolved (with a DNS query) only once per child process and cached for all further connections until the child is recycled. To disable connection reuse, set this property value to On.

发布时间：2022-11-02 11:14:38

【经验分享】ttyd - Share your terminal over the web
ttyd是一款能将Linux/Andorid/Windows终端以Web形式展现的命令行工具，用法简单但功能强大。项目主页是：github.com/tsl0922/ttyd。
releases里有编译好的二进制程序，直接下载系统对应版本即可使用，无需安装。

用法举例：
Linux：执行"ttyd login"即可，支持系统账号登录认证。更高级的用法可以参考这里github.com/tsl0922/ttyd/wiki/Example-Usage。效果如附图1所示。
Andorid：执行"ttyd bash"即可。效果如附图2所示。
Windows：执行"ttyd cmd"即可。效果如附图3所示。

在Linux上如何ttyd配置为服务？
参见：github.com/tsl0922/ttyd/wiki/Systemd-service#systemd-service-on-linux

• 
• 
• 

发布时间：2022-11-01 21:16:59

【经验分享】推荐一个支持语法高亮的cat命令行工具 - bat
项目主页是：github.com/sharkdp/bat/，bat支持对大部分编程语言和标记语言提供语法高亮显示。可以作为cat命令的高级替代品。采用Rust语言编写。
效果如附图所示。 ​​​

• 
• 
• 

发布时间：2022-10-30 16:01:32

【经验分享】proxychains Windows版
借助proxychains可以让不支持代理的程序强制走代理，proxychains-windows是其Windows版本，项目主页：github.com/shunf4/proxychains-windows。
其原理是Hook方式实现：通过劫持connect, WSAConnect, ConnectEx, GetAddrInfoW等函数调用。

直接从releases里下载编译好的二进制版本，修改配置文件后即可使用。
配置文件放置于：%USERPROFILE%\.proxychains\proxychains.conf。

用法示例：
proxychains curl http://httpbin.org/ip
proxychains "C:\Program Files\Mozilla Firefox\firefox.exe"

• 
• 

发布时间：2022-10-29 12:48:45

【经验分享】推荐两个Python实现的adb客户端库

原理如附图所示，直接通过socket和"adb server"进行交互来实现功能，而非调用adb二进制客户端程序实现。也就是adb.exe的Python实现。
第一个是：adbutils，项目主页是github.com//openatx/adbutils。
第二个是：pure-python-adb，项目主页是github.com//Swind/pure-python-adb。

PS：uiautomator2中使用了adbutils。

• 

发布时间：2022-10-29 09:11:53

【经验分享】如何adb连接远程的安卓设备？

方法一：直接远程连接。
（1）在安卓设备上开启网络ADB(即adb over TCP/IP)。可以使用"ADB Manager"这个APP，如附图1所示。adbd默认监听设备上的5555端口。
（2）然后通过路由器端口映射或者frp内网穿透，将设备的5555端口暴露出来。
（3）最后在本地使用“adb connect 远程IP:远程端口”即可连接。
这个方法的缺点是不安全，任何人都能连接。

方法二：通过ssh隧道中转连接。
将安卓设备连接在一台Linux机器上，然后本地通过ssh隧道安全地和设备建立连接。
首先看一下adb的工作原理，如附图2所示，"adb server"位于主控端（PC），“adbd后台进程”位于安卓设备上。"adb server"和“adbd"通过USB或者TCP通信。"adb server"监听TCP 5037端口，"adb客户端"通过该端口与其进行数据交互：执行命令、获取命令执行结果。
知道原理后实现起来就不难了：对于"adb客户端"来说，它默认是通过TCP://127.0.0.1:5037来连接"adb server"，我们只要把远程的5037端口映射到本地，本地的"adb客户端"就能连接上远程的"adb server"（就和连接本机的"adb server"一样）。

具体实现思路如下：
（1）将所有需要访问的安卓设备连接到一台Linux机器上，这台机器可以被远程ssh访问。确保在Linux上"adb devices"能够正常看到设备。
（2）使用ssh本地端口映射，将Linux机器的5037映射到本地，例如
ssh -L 5037:127.0.0.1:5037 user@host
（3）然后在本地执行"adb devices"就能看到和远程Linux上一样的设备列表，如附图3所示。注意：本地的adb版本要和远程Linux上的adb server版本一致，否则会出错。之后的操作就和使用本地的adb连接一样了。
（4）这种模式下，如何使用scrcpy远程控制设备呢？
通过上面操作我们已经成功建立了adb远程连接，但是使用scrcpy的时候会发现无法显示出设备图像，提示“connect: No error”错误。这是因为scrcpy在工作的时候需要用到27183端口（scrcpy-server会监听该端口，scrcpy客户端通过这个端口和服务端进行通信），我们还需要将这个端口也从远程映射到本地来（详见scrcpy的官方文档），命令如下：
ssh -L 27183:127.0.0.1:27183 user@host
如此scrcpy就能正常工作了，如附图4所示。

• 
• 
• 
• 

发布时间：2022-10-29 09:05:44

【经验分享】编译Haproxy时加入Lua支持。
Lua是一种嵌入式编程语言，HAProxy支持通过Lua脚本实现更过强大的功能。按如下步骤操作，可以给Haproxy加入Lua支持。

（1）先编译Lua。
从官方下载Lua源码（ https://www.lua.org/start.html ），进入src目录，make linux即可。将编译生成lua可执行文件lua和luac。记下lua可执行文件所在路径，例如/home/qi/haproxy_backconnect_proxies/lua-5.3.6/src 。
编译时如果出现"lua.c:82:31: fatal error: readline/readline.h: 没有那个文件或目录"问题，请先安装"sudo apt-get install -y libreadline-dev”（Ubuntu下）。

（2）编译Haproxy。
从官方下载源码，编译时加入USE_LUA=1选项，并制定lua可执行文件所在路径，完整如下：
make TARGET=generic USE_DL=1 USE_CRYPT_H=1 USE_LUA=1 LUA_INC=/home/qi/haproxy_backconnect_proxies/lua-5.3.6/src LUA_LIB=/home/qi/haproxy_backconnect_proxies/lua-5.3.6/src

另外Lua默认会从/usr/local/share/lua/5.3/下寻找库文件，如果从网上下载的第三方库库例如json.lua，将放置于该目录下。

发布时间：2022-08-27 13:06:25

【经验分享】如何让Linux系统预留指定端口，防止被自动分配机制拿走（占用）。
背景：系统上开启了很多网络服务，重启某个业务时经常出现端口被占用的情况。

解决方法：
以Ubuntu 16.04为例，编辑 /etc/sysctl.conf，加入如下配置行：
net.ipv4.ip_local_reserved_ports=6666,7777,8888,9999,54001-54100
保存，然后执行sudo sysctl -p生效。

这里的"6666,7777,8888,9999,54001-54100"为预留端口。经过这样设置后，这些端口就不会被系统自动分配给connect()和bind() 端口0的程序。

发布时间：2022-08-27 10:31:21

默认情况下，Chrome的--proxy-server="http://ip:port"参数不支持设置用户名和密码认证。这样就使得"Selenium + Chrome Driver"无法使用HTTP Basic Authentication的HTTP代理。一种变通的方式就是采用IP地址认证，但在国内网络环境下，大多数用户都采用ADSL形式网络接入，IP是变化的，也无法采用IP地址绑定认证。因此迫切需要找到一种让Chrome自动实现HTTP代理用户名密码认证的方案。

Stackoverflow上有人分享了一种利用Chrome插件实现自动代理用户密码认证的方案非常不错，详细地址 http://stackoverflow.com/questions/9888323/how-to-override-basic-authentication-in-selenium2-with-java-using-chrome-driver 。

鲲之鹏的技术人员在该思路的基础上用Python实现了自动化的Chrome插件创建过程，即根据指定的代理“username:password@ip:port”自动创建一个Chrome代理插件，然后就可以在"Selenium + Chrome Driver"中通过安装该插件实现代理配置功能，具体代码如下。

# coding: utf-8 # test.py # 测试"Selenium + Chrome"使用带用户名密码认证的代理 import os import re import time import zipfile from selenium import webdriver # Chrome代理模板插件(https://github.com/RobinDev/Selenium-Chrome-HTTP-Private-Proxy)目录 CHROME_PROXY_HELPER_DIR = 'Chrome-proxy-helper' # 存储自定义Chrome代理扩展文件的目录 CUSTOM_CHROME_PROXY_EXTENSIONS_DIR = 'chrome-proxy-extensions' def get_chrome_proxy_extension(proxy): """获取一个Chrome代理扩展,里面配置有指定的代理(带用户名密码认证) proxy - 指定的代理,格式: username:password@ip:port m = re.compile('([^:]+):([^\@]+)\@([\d\.]+):(\d+)').search(proxy) if m: # 提取代理的各项参数 username = m.groups()[0] password = m.groups()[1] ip = m.groups()[2] port = m.groups()[3] # 创建一个定制Chrome代理扩展(zip文件) if not os.path.exists(CUSTOM_CHROME_PROXY_EXTENSIONS_DIR): os.mkdir(CUSTOM_CHROME_PROXY_EXTENSIONS_DIR) extension_file_path = os.path.join(CUSTOM_CHROME_PROXY_EXTENSIONS_DIR, '{}.zip'.format(proxy.replace(':', '_'))) if not os.path.exists(extension_file_path): # 扩展文件不存在，创建 zf = zipfile.ZipFile(extension_file_path, mode='w') zf.write(os.path.join(CHROME_PROXY_HELPER_DIR, 'manifest.json'), 'manifest.json') # 替换模板中的代理参数 background_content = open(os.path.join(CHROME_PROXY_HELPER_DIR, 'background.js')).read() background_content = background_content.replace('%proxy_host', ip) background_content = background_content.replace('%proxy_port', port) background_content = background_content.replace('%username', username) background_content = background_content.replace('%password', password) zf.writestr('background.js', background_content) zf.close() return extension_file_path else: raise Exception('Invalid proxy format. Should be username:password@ip:port') if __name__ == '__main__': options = webdriver.ChromeOptions() # 添加一个自定义的代理插件（配置特定的代理，含用户名密码认证） options.add_extension(get_chrome_proxy_extension(proxy='username:password@ip:port')) driver = webdriver.Chrome(chrome_options=options) # 访问一个IP回显网站，查看代理配置是否生效了 driver.get('http://httpbin.org/ip') print driver.page_source time.sleep(60) driver.quit()

测试截图如下所示：