CC攻击的防御难点从来不在于“能不能拦住”,而在于“拦了之后会不会把搜索引擎爬虫一起误伤”。很多站点上了CC防护之后,排名和收录断崖式下跌,根本原因是规则把百度蜘蛛、搜狗蜘蛛、360蜘蛛甚至各类合规监测爬虫的请求当成攻击流量清洗掉了。要解决这个问题,不能靠加白名单IP这种粗放手段,必须从请求特征、行为模式、协议指纹三个维度建立区分机制。
先厘清一个关键前提:搜索引擎爬虫的行为模型与CC攻击流量有本质区别
CC攻击的本质是消耗服务器资源,攻击工具通常会在短时间内发起大量HTTP请求,请求的目标URL高度集中,请求头往往缺失或伪造不全,Cookie处理能力弱,甚至不解析JavaScript。而搜索引擎爬虫虽然也会高频抓取,但它的行为是“发散式”的:URL分散、抓取深度有层次、请求间隔有节奏、会主动解析页面中的链接并递归访问。更重要的是,正规爬虫会严格遵循robots.txt协议,并且在请求头中带有明确且一致的UA标识和反向DNS可验证的IP来源。
所以,区分合法爬虫与恶意CC流量,核心不是看“频率高不高”,而是看“行为像不像真实的搜索引擎抓取器”。单纯用“单IP每秒请求数超过阈值就封禁”的规则,一定会误伤爬虫。因为百度蜘蛛在抓取大型站点时,并发连接数可能达到几十甚至上百,瞬时请求速率并不低。
第一层规则:基于反向DNS验证的IP信誉机制
这是目前区分搜索引擎爬虫与CC攻击最可靠的手段之一。以百度蜘蛛为例,其抓取服务器的IP段虽然不固定,但所有IP都可以通过反向DNS解析出以baidu.com或baidu.jp结尾的主机名。具体操作方法是:当请求头中的UA声称自己是百度蜘蛛时,防御系统不立即放行,而是对该请求的来源IP执行反向DNS查询,再将查询到的主机名与请求中的UA进行匹配校验。
如果反向DNS结果与UA声明的爬虫身份一致,则判定为合法爬虫,直接放行并跳过后续的CC频率检测。如果不一致,或者反向DNS查询失败,则说明该请求极有可能是伪造UA的CC攻击流量,直接进入人机验证或拦截流程。这套机制的关键在于:验证过程是异步的,不会阻塞正常请求处理,而且反向DNS结果可以缓存,避免每个请求都做一次查询。
需要注意的是,反向DNS验证不能只做一次就永久信任。爬虫IP池会动态变化,建议缓存时间控制在24小时以内,并且对验证失败的IP设置较短的封禁窗口。同时,不要把所有声称是爬虫的UA都做反向DNS验证,只对主流搜索引擎的UA做验证即可,否则会消耗大量DNS查询资源。
第二层规则:基于请求头完整性和一致性的过滤
CC攻击工具为了追求发包效率,往往会在请求头构造上偷工减料。常见的特征包括:缺失Accept-Language头、缺失Accept-Encoding头、UA字符串过于简单或随机、Connection头异常、Referer为空或与目标站点完全无关。而真实的搜索引擎爬虫请求头非常规范,UA字符串包含详细的版本信息和渲染引擎标识,Accept头完整,且会携带正确的Accept-Language(通常是通配符或特定语言代码)。
这里有一个很实用的判断逻辑:如果某个请求声称自己是搜索引擎爬虫,但它的请求头中缺少了搜索引擎爬虫必然会携带的字段,那么这个请求大概率是伪造的。例如,百度蜘蛛的请求头中一定会包含Accept: */*,并且UA中带有Baiduspider字样和具体的渲染版本号。如果遇到一个UA写着Baiduspider但Accept头缺失或者Accept-Language字段完全为空的请求,可以直接判定为恶意。
更进一步,可以检查请求头中是否存在矛盾。比如UA声明是移动端爬虫,但请求头中却携带了桌面端浏览器的特征,或者Accept头中声明支持的内容类型与爬虫身份不符。这种一致性校验规则实现成本低,拦截准确率高,而且不会对合法爬虫造成任何影响。
第三层规则:基于访问路径和抓取行为的动态评分
搜索引擎爬虫的抓取路径有一个显著特点:它会从首页或者sitemap入口开始,沿着链接逐步深入,访问的URL呈现出树状扩散的结构。而CC攻击通常是对某一个或某几个特定URL进行集中轰炸,比如攻击者会选择搜索接口、登录接口、或者某个高消耗的动态页面作为攻击目标。
基于这个差异,可以设计一套动态评分机制。对于声称是爬虫的请求,系统记录其访问的URL序列,并计算URL的分散度。如果某个“爬虫”在短时间内反复请求同一个URL或者同一小撮URL,且几乎没有访问其他页面,那么它的评分就应该迅速降低。当评分低于阈值时,将其标记为可疑流量,进入验证流程。
同时,可以结合robots.txt的访问行为做判断。正规爬虫在抓取一个站点之前,通常会先请求robots.txt文件,了解站点的抓取规则。如果一个声称是爬虫的IP在没有任何robots.txt请求记录的情况下,直接开始大量抓取内页,这本身就是异常信号。CC攻击工具几乎不会去请求robots.txt,因为它们的目标是消耗资源,而不是遵守规则。
第四层规则:基于TLS指纹和HTTP/2特征的协议层识别
搜索引擎爬虫使用的HTTP客户端库和TLS实现与常见的CC攻击工具有明显差异。百度蜘蛛、搜狗蜘蛛等主流爬虫通常使用定制化的网络库,其TLS握手过程中的密码套件顺序、扩展字段、椭圆曲线参数等都有特定指纹。而CC攻击工具大多基于Python requests、Go http客户端或者自定义socket实现,TLS指纹与真实爬虫完全不同。
在支持HTTP/2的场景下,这个差异更加明显。搜索引擎爬虫会使用HTTP/2的多路复用特性进行高效抓取,其SETTINGS帧参数、流优先级设置、头部压缩策略都有规律可循。而大量CC攻击工具仍然停留在HTTP/1.1甚至HTTP/1.0,或者虽然使用HTTP/2但参数配置与真实爬虫差异巨大。
部署在反向代理层的防御系统可以提取这些协议层特征,与已知的搜索引擎爬虫指纹库进行比对。匹配度高的请求直接放行,匹配度低的请求进入人机验证。这套规则的优势在于攻击者很难伪造协议层指纹,因为要完全模拟某个搜索引擎爬虫的TLS实现,需要逆向其网络库,成本极高。
第五层规则:基于陷阱URL和蜜罐机制的主动防御
这是一种主动区分合法爬虫与恶意流量的方法。在站点的robots.txt中,可以声明一个或多个对搜索引擎爬虫不可见的陷阱URL,同时在这些URL对应的页面上设置特殊标记。具体做法是:在robots.txt中通过Disallow指令禁止爬虫访问某个路径,但在实际页面上,这个路径是存在的,并且包含一个只有通过解析HTML才能发现的隐藏链接。
正规搜索引擎爬虫会遵守robots.txt,不会去抓取被Disallow的路径。而CC攻击工具和伪造爬虫通常不会解析robots.txt,它们会盲目地抓取所有能发现的URL,包括陷阱URL。一旦有请求访问了陷阱URL,系统可以立即将该IP标记为恶意,因为真正的搜索引擎爬虫不会访问被robots.txt禁止的路径。
这个机制的巧妙之处在于,它不依赖频率检测,也不依赖UA判断,而是利用爬虫与攻击工具在“是否遵守robots协议”这个行为上的根本差异来做区分。误判率极低,而且对合法爬虫完全透明。需要注意的是,陷阱URL的路径要设计得足够隐蔽,避免被正常用户通过浏览器直接访问到,同时要确保陷阱URL不会被sitemap收录或者被其他页面链接暴露。
第六层规则:基于JavaScript执行能力的验证
搜索引擎爬虫的渲染能力在不断提升,百度蜘蛛和搜狗蜘蛛都支持执行JavaScript来获取动态渲染后的内容。但CC攻击工具通常不具备完整的JavaScript执行环境,它们发送的是原始的HTTP请求,不会去解析和执行页面中的脚本。
利用这个差异,可以在页面中嵌入一段轻量级的JavaScript验证代码。当请求到达时,如果该请求声称自己是支持渲染的搜索引擎爬虫,系统可以返回一个包含JavaScript挑战的页面。如果请求方能够执行JavaScript并返回正确的计算结果,则说明它具备真实的渲染能力,大概率是合法爬虫。如果请求方无法执行JavaScript,或者返回的结果不正确,则说明它是伪造爬虫或者CC攻击工具。
不过这套规则需要谨慎使用,因为并非所有搜索引擎爬虫都完整支持JavaScript渲染,而且JavaScript挑战会增加响应延迟。建议只对可疑流量启用JavaScript验证,对已经通过反向DNS验证的合法爬虫直接放行,避免影响抓取效率。
实际部署中的规则组合策略
以上六层规则不应该孤立使用,而是要按照“先验证身份、再评估行为、最后动态处置”的顺序组合起来。推荐的流程是:请求到达后,先检查UA是否声称是搜索引擎爬虫。如果是,进入反向DNS验证环节。验证通过的请求直接放行,跳过所有频率检测。验证失败的请求进入请求头完整性检查和TLS指纹比对。如果这两项也失败,直接标记为恶意并拦截。如果请求头完整性检查通过但TLS指纹不匹配,则进入行为评分和陷阱URL监测。评分低于阈值或者触发了陷阱URL的请求,最终进入JavaScript验证或人机验证。
这套组合规则的核心理念是:对合法爬虫做到零干扰,对伪造爬虫做到层层过滤。每一层规则都有明确的判断依据,不会因为单一维度的误判而影响整个防御效果。同时,所有规则都可以在反向代理层或WAF层实现,不需要修改站点代码,部署成本低。
最后要强调的是,搜索引擎爬虫的IP池和UA特征会持续变化,防御规则需要定期更新。建议每周对反向DNS验证的缓存进行清理,每月对UA特征库和TLS指纹库进行一次校准。同时,密切关注站点日志中爬虫抓取行为的变化趋势,如果发现某个搜索引擎的抓取量突然下降,要第一时间检查是否是防御规则误伤,及时调整阈值和验证策略。CC攻击防御与搜索引擎友好之间不是零和博弈,通过精细化的规则设计,完全可以做到两者兼顾。
