元旦那天有一个ip连续数小时不停打开乐园的页面,产生了将近3G的访问流量,会不会是哪位朋友因为担心网站关闭而使用工具下载网站数据呢?
[本帖通过手机版发表]
如果是下载网站,那么打开的页面,应该是不同的吧。
如果是相同的页面,就有可能是木马攻击。有一种攻击,似乎就是通过不停地访问,而导致服务器瘫痪。
另外网站的数据似乎没有3G吧,都是些文字,占的空间不大。所以我觉得更像是服务器遭受攻击。
[此贴子已经被作者于2013-01-06 11:16:59编辑过]
这个得看平时的流量,和那一号流量的对比。
最好也和去年一月一号比较一下来排除服务商那边的问题。
如果是爬虫,估计3G差不多整个网站爬一遍了。
可以看看这个ip,是不是百度谷歌这种。
[本帖通过手机版发表]
不像是搜索引擎的行为,几个搜索引擎都出现了,行为不一样。应该就是晓辉说的爬虫,网站的数据虽然不大,但是那样一个个链接打开是会产生3G流量,已经相当于一年前1月份整个月的流量了。
[本帖通过手机版发表]
爬虫就是搜索引擎用于收集整理数据的东东吧。作为机器人爬虫爬一遍用不着“数小时”啊,数小时我用手都能点一遍了。怎么感觉是服务商为提高网站搜索排名提供的人性化服务哇,哈哈
[本帖通过手机版发表]
我觉得可能是爬虫。以前我管理的一个网站进行改版后,就突然遇到这些不速之客,检查IP发现全都来自搜索引擎。
[本帖通过手机版发表]
[转贴]互联网网站的反爬虫策略浅析
http://robbin.iteye.com/blog/451014
因为搜索引擎的流行,网络爬虫已经成了很普及网络技术,除了专门做搜索的Google,Yahoo,微软,百度以外,几乎每个大型门户网站都有自己的搜索引擎,大大小小叫得出来名字得就几十种,还有各种不知名的几千几万种,对于一个内容型驱动的网站来说,受到网络爬虫的光顾是不可避免的。
一些智能的搜索引擎爬虫的爬取频率比较合理,对网站资源消耗比较少,但是很多糟糕的网络爬虫,对网页爬取能力很差,经常并发几十上百个请求循环重复抓取,这种爬虫对中小型网站往往是毁灭性打击,特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强。曾经有一次我在JavaEye的日志里面发现一个User-Agent是Java的爬虫一天之内爬取了将近100万次动态请求。
... ...
[本帖通过手机版发表]