标签： User Agent

Nginx 使用 sever 段规则屏蔽恶意 User Agent

Wolfit 评论

相对于 Apache，Nginx 占用的系统资源更少，更适合 VPS 使用。恶意的 User Agent 无处不在，博客更换到 WordPress 没几天，就被 SPAM（垃圾留言）盯上，又被暴力破解后台用户名密码。以前介绍过 Apache 使用 .htaccess 屏蔽恶意 User Agent，今天来介绍 Nginx 屏蔽恶意 User Agent的方法。

先上规则&注释

#禁用未初始化变量警告
uninitialized_variable_warn off;
#匹配各种 bad user agent，返回403错误
if ($http_user_agent ~* "embeddedwb|NSPlayer|WMFSDK|qunarbot|mj12bot|ahrefsbot|Windows 98|MSIE 6.0; Windows 2000|EasouSpider|Sogou web spider") {
return 403;
}
#匹配POST方法，给变量iftemp赋值
if ($request_method ~* "POST") {set $iftemp X;}
#匹配 bad user agent，给变量iftemp赋值;这几个UA主要是发垃圾留言的
if ($http_user_agent ~* "MSIE 6.*NET|MSIE 7.*NET|MSIE 6.*SV1|MSIE 6.0; Windows NT 5.0") {
set $iftemp "${iftemp}Y";
}
#如果变量iftemp符合上面两个条件，返回403错误
if ($iftemp = XY) {return 403;}

继续阅读

自定义浏览器 User Agent 解决支付宝数字证书兼容问题

Wolfit 评论

Chrome 32/33 的更新引来的不少人的吐槽……

支付宝数字证书插件不支持 Chrome 31 以上版本，每次都要验证手机短信，实在讨厌。实际上数字证书插件并非不支持 Chrome 31 以上版本，而是插件在对 Chrome 版本验证的同时没有及时更新适配新版本 Chrome。

Chrome 拥有不少扩展程序可以自定义 User Agent，但是每个 Chrome 扩展都占用不少内存，内存再大也不带这么玩的。

给快捷方式添加启动参数，即可简单自定义 User Agent。这么做的好处是不使用扩展，不会额外占用内存。

1、新建或修改 Chrome 快捷方式，给快捷方式添加参数

–user-agent=””

完整的快捷方式如下：

“C:\Program Files\Google\Chrome\Application\chrome.exe” –user-agent=”Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.16 Safari/537.36″

继续阅读

Apache 使用 .htaccess 屏蔽恶意 User Agent

Wolfit 1 条评论

一、登记在册的恶意 User Agent

1、”Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; EmbeddedWB 14.52 from: http://www.bsalsa.com/ EmbeddedWB 14.52; .NET CLR 2.0.50727)”

下面是网站日志中的两条记录，这个 User Agent 会重复访问注册页面，并获取验证码，这是垃圾留言和恶意注册的开始。

116.242.22.10 199.27.128.204 – – [30/Oct/2011:04:02:15 +0800] “GET /checkcode.php HTTP/1.1” 302 286 “http://www.***.com/register.php” “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; EmbeddedWB 14.52 from: http://www.bsalsa.com/ EmbeddedWB 14.52; .NET CLR 2.0.50727)”

116.242.22.10 199.27.128.204 – – [30/Oct/2011:04:02:19 +0800] “POST /register.php HTTP/1.1” 302 286 “http://www.***.com/register.php” “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; EmbeddedWB 14.52 from: http://www.bsalsa.com/ EmbeddedWB 14.52; .NET CLR 2.0.50727)”

2、”Mozilla/5.0 QunarBot/1.0″

这是一个无视 robots.txt 的蜘蛛，怀疑与“去哪儿”有关。

3、”Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)”

61.147.91.201 173.245.48.60 – – [30/Oct/2011:06:00:28 +0800] “GET /mp3/%A5%D6%A5%EB%A9%60%A5%D0%A9%60%A5%C9.mp3 HTTP/1.1” 302 286 “-” “Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)”

看到没？Windows 98！总是抓取网站目录下的mp3文件，都是原来上传过mp3文件到网站的错。 继续阅读

搜索引擎蜘蛛爬虫 User Agent 一览

Wolfit 4 条评论

搜索引擎蜘蛛今天分析研究了两个网站的 Apache 日志，分析日志虽然很无聊，但却是很有意义的事情，比如跟踪 SPAM 的 User Agent。顺便整理出一些搜索引擎爬虫的 User Agent，在这里分享一下，也欢迎补充。

微软

“msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)”
msnbot，大多数已经被bingbot替代了，现在偶尔还可以看到。

“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”
bing，必应

搜搜

“Sosospider+(+http://help.soso.com/webspider.htm)”
腾讯搜搜

“Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm)”
搜搜图片

雅虎

“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)”
雅虎英文

“Yahoo! Slurp China”
“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”
雅虎中国

搜狗

“http://pic.sogou.com” “Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”
搜狗图片

“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”
搜狗，搜狗的蜘蛛程序做的很不好，总是进入死循环，已经分别在 robots.txt 和 设置中屏蔽掉

继续阅读