伪装成 AI 爬虫的请求如何识别:15 天实测 236 次冒充
本文转载自 opengeo.page,原文链接:https://opengeo.page/tools/crawlers/fake/
来源:OpenGEO 项目|CC BY 4.0
一句话结论:UA 只是请求里自己写的一行字,不能证明身份。本站 2026-10-25 至 11-08 的日志里,2,511 次请求自称是收录表里的爬虫,按各家官方给的方法核验,至少 236 次是冒充;被冒充最多的是 Googlebot(190 次),冒充者主要在扫 WordPress 接口和找密钥文件【实测】。
本站抓到了哪些冒充?
| 自称 | 请求 | 确认冒充 | 冒充者所在网络 | 特征 【实测】 |
|---|---|---|---|---|
| Googlebot | 1,610 | 190 | 境外托管网段,其中一个网段 164 次,其余分散在另外 5 个网段 | 180 次用官方短 UA 原文;请求 /wp-json/、/wordpress/ 等 |
| Baiduspider | 57 | 28 | 一个境外托管网段的 1 个 IP | UA 与官方一字不差,反查不是 baidu[.]com |
| ChatGPT-User | 11 | 9 | 一个境外托管网段(4 个 IP) | 请求 /.env.production、/secrets.json 等 |
| GPTBot | 155 | 2 | 一个境外托管网段 | 简化 UA Mozilla/5.0 (compatible; GPTBot/1.0) |
| ClaudeBot | 122 | 2 | 一个境外托管网段 | 简化 UA,无官方邮箱 |
| PerplexityBot | 10 | 2 | 一个境外托管网段 | 简化 UA,无官方网址 |
| Bytespider | 2 | 2 | 一个境外托管网段 | 简化 UA,缺 zhanzhang[.]toutiao[.]com |
| Bingbot | 323 | 1 | 一个境外托管网段 | 简化 UA Mozilla/5.0 (compatible; bingbot/2.0) |
同期核验全部通过的:OAI-SearchBot(完整 IP 27 次)、Applebot(19 次)、Amazonbot(25 次反查到 crawl.amazonbot.amazon)【实测】。GPTBot、ClaudeBot 完整 IP 时段分别是 104/104、92/92 次通过。
「确认冒充」只算两种:完整 IP 时段(10-29 23:10 前)IP 不在官方列表、反查也不在官方域名下;匿名时段所在 /24 与官方段完全不重合。匿名时段 /24 重合的、官方没给核验方法的,都没有算进去,所以 236 是下限。表里不列具体 IP。
一个 /24 在 23 分钟里冒充了 6 个爬虫
2026-11-06 21:57 到 22:20(北京时间),一个境外托管网段里的同一个 /24 先后用 Baiduspider、Bytespider、ClaudeBot、GPTBot、Googlebot、PerplexityBot 六个名字发来 11 次请求,UA 都是 Mozilla/5.0 (compatible; 名字/版本) 这种去掉网址的简化格式,目标全是观测记录 #001【实测】。真爬虫各有固定的 UA 格式和网络,不会这样轮换,这是同一个程序在试哪个名字能进门【推断】。
冒充 Googlebot 的在扫 WordPress
190 次冒充 Googlebot 的请求里,最多的路径是首页、/wp-json/、/wordpress/、/news/wp-json/、/cms/?rest_route=/【实测】。本站是 Hugo 静态站,没有这些接口;这是借 Googlebot 的名字找 WordPress 漏洞的扫描【推断】。164 次来自同一个境外托管网段。
冒充 ChatGPT-User 的在找密钥
9 次冒充 ChatGPT-User 的请求来自一个境外托管网段的 4 个 IP,请求 /.env.production、/.env.dist、/.env.sample、/secrets.json 等文件【实测】。真 ChatGPT-User 只在用户让 ChatGPT 读某个网页时才来【官方】,不会去找配置文件。
看着可疑、但不算冒充的
360Spider:6 次请求的 UA 都以「User-Agent:」开头,格式不对;但所在 /24 都落在 360 官方公布的 6 个段里【实测】。更像 360 一侧把请求头写错了,本页不算冒充【推断】。
Bingbot:匿名时段 22 次的 /24 不在 bingbot.json 里,但都来自微软自己的网络;这份 JSON 本站读取时生成日期是 2024-01-03,可能不全【实测】,记为无法确认。
Meta-ExternalAgent:40 次全部来自 Meta 自己的网络,但 Meta 没有给官方核验方法,只能说网络对得上【实测】。
YisouSpider:1 次,UA 只有一个词,官方没有核验方法,无法判断。
deepseek-harness、dsh-desktop:UA 含 deepseek 的 15 次是工具和客户端,不是在冒充爬虫,也不是爬虫。
外部报告怎么说?
HUMAN Security(2025-09-09):分析两周内 16 个知名 AI 爬虫的流量,5.7% 自称 AI 爬虫的请求是冒充;被冒充最多的是 ChatGPT-User,约每 6 次就有 1 次是假的。部分冒充者用的是和真爬虫同一个 ASN、紧挨着官方段的 IP【推断】。来源:https://www.humansecurity.com/learn/blog/ai-crawler-spoofing-chatgpt-mistral-perplexity
GreyNoise(2026-08-28):一批扫描器冒充 8 家公司的 13 个 AI 爬虫找 .env、云密钥、私钥;其中 6 个名字来自同样的 824 个地址,没有一个在官方 IP 列表里,也从不请求 /robots.txt。它们的 ClaudeBot UA 与官方逐字一致;带 Google-Extended 名字的 263,849 次会话全部是伪造,因为 Google 根本不发这个 UA【推断】。来源:https://www.greynoise.io/blog/threat-actors-posing-as-ai-crawlers
Cloudflare(2025-08-04):称在测试域名禁止 Perplexity 后,观察到伪装成 macOS Chrome、来自不在 Perplexity 官方段的地址继续访问。这是反方向的情况:真公司换掉自己的 UA。Cloudflare 的单方观察,本页只转述【推断】。来源:https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/
本站的规模小得多,但看到的模式一样:冒充者偏爱被站长信任的名字,常用官方 UA 原文,只有 IP 对不上【推断】。
怎么自己核验一个请求?
按「完整 IP / 匿名 IP」分成四种核验结果、每种怎么处理,见场景页日志里的 Googlebot 是真的吗。
方法一:反向 DNS + 正向确认
Google 官方给的步骤(百度、字节、Common Crawl 思路相同,只是域名不同)【官方】:
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1
两步都要做:只看第一步,冒充者可以给自己的 IP 设一个假的反查名;第二步正向解析回同一个 IP,才能确认。各家官方域名:
| 爬虫 | 反查主机名应在 | 依据 |
|---|---|---|
| Googlebot | googlebot[.]com、google[.]com、googleusercontent[.]com | 【官方】 |
| Baiduspider | baidu[.]com、baidu[.]jp | 【官方】 |
| Bytespider | bytedance[.]com | 【官方】 |
| CCBot | crawl[.]commoncrawl[.]org | 【官方】 |
| Amazonbot | crawl.amazonbot.amazon | 【实测】 |
| Bingbot | search[.]msn[.]com(另有官方 Verify Bingbot 工具) | 【实测】 |
360Spider 官方说明不支持反查,只能对 IP 段【官方】。
方法二:对照官方 IP 列表
这些公司公布了 JSON 格式的 IP 段,来访 IP 在里面才算真【官方】:
OpenAI https://openai.com/gptbot.json
https://openai.com/searchbot.json
https://openai.com/chatgpt-user.json
Anthropic https://claude.com/crawling/bots.json
Perplexity https://www.perplexity.ai/perplexitybot.json
https://www.perplexity.ai/perplexity-user.json
Google https://developers.google.com/static/crawling/ipranges/common-crawlers.json
Apple http://search.developer.apple.com/applebot.json
Kimi https://www.kimi.com/policies/kimibot.json
https://www.kimi.com/policies/kimi-searchbot.json
https://www.kimi.com/policies/kimi-user.json
腾讯混元 https://hy.tencent.com/policy/hyspider.json
Common Crawl https://index.commoncrawl.org/ccbot.json
每个名字对应自己的列表,不要混用:OpenAI 的三个爬虫各有一份【官方】。列表会更新,最好每天重新拉取。
方法三:看它在请求什么
真爬虫会请求 /robots.txt,不会去找 .env、/.git/config、/wp-json/ 这类和公开网页无关的路径【推断】。本站的冒充者大多在找这些。
nginx 怎么拦冒充者?
思路:UA 自称某个爬虫、IP 却不在它的官方段里,就返回 403;真爬虫和普通访客都不受影响。先把官方 JSON 转成 nginx 的 geo 文件,用 cron 每天跑一次:
#!/bin/sh
# /etc/cron.daily/crawler-ranges:拉取官方 IP 段,生成 nginx 可读的文件
set -e
mkdir -p /etc/nginx/ranges
fetch() { # $1=名字 $2=官方 JSON 地址
curl -fsS "$2" | jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' > "/etc/nginx/ranges/$1.conf.new"
mv "/etc/nginx/ranges/$1.conf.new" "/etc/nginx/ranges/$1.conf"
}
fetch gptbot https://openai.com/gptbot.json
fetch searchbot https://openai.com/searchbot.json
fetch chatgptuser https://openai.com/chatgpt-user.json
fetch anthropic https://claude.com/crawling/bots.json
fetch googlebot https://developers.google.com/static/crawling/ipranges/common-crawlers.json
nginx -t && systemctl reload nginx
# http {} 里
geo $ip_gptbot {
default
0;
include
/etc/nginx/ranges/gptbot.conf; }
geo $ip_searchbot {
default
0;
include
/etc/nginx/ranges/searchbot.conf; }
geo $ip_chatgptuser {
default
0;
include
/etc/nginx/ranges/chatgptuser.conf; }
geo $ip_anthropic {
default
0;
include
/etc/nginx/ranges/anthropic.conf; }
geo $ip_googlebot {
default
0;
include
/etc/nginx/ranges/googlebot.conf; }
# UA 自称谁,就拿谁的 IP 段来比;"1:0" = 自称了但 IP 不在段内
map $http_user_agent $claimed_ok {
default
"";
"~*GPTBot"
"1:$ip_gptbot";
"~*OAI-SearchBot"
"1:$ip_searchbot";
"~*ChatGPT-User"
"1:$ip_chatgptuser";
"~*Claude(Bot|-User|-SearchBot)"
"1:$ip_anthropic";
"~*Googlebot"
"1:$ip_googlebot";
}
map $claimed_ok $fake_crawler {
default
0;
"1:0"
1; }
# server {} 里
if ($fake_crawler) {
return
403; }
几点注意:
网站在 CDN 或反向代理后面时,先用 set_real_ip_from 和 real_ip_header 拿到真实来源 IP,否则 geo 比较的是 CDN 的地址,会把真爬虫全拦掉。
官方 IP 段会变。cron 拉取失败时脚本不会覆盖旧文件,但长期不更新会误伤真爬虫。
百度、Bingbot 这类不公布(或不及时更新)IP 段的,nginx 本身做不了反查。可以每天用脚本对日志里自称它们的 IP 做反查,把确认冒充的 IP 写进 deny 名单。
本站目前没有部署这套规则,上面的写法只做过语法层面的核对。
这份统计的局限
只统计 UA 里带爬虫名字的请求。完全不写爬虫名、伪装成普通浏览器的抓取(Cloudflare 描述的那种),这里看不到。
10-29 23:10 之后 IP 匿名化,只能按 /24 粗判;236 是下限。
只有一台服务器、15 天、一个新站的数据,冒充比例不能推广到别的网站。
本页不公开任何访客 IP;冒充者所在网络只写「境外托管网段」这类通用说法,不公开 ASN 编号或网络运营商名称。
常见问题
怎么判断一个自称 Googlebot 或 GPTBot 的请求是真的?
看 IP,不看 UA。有官方 IP 列表的(OpenAI、Anthropic、Perplexity、Google、Apple、Kimi、腾讯混元等),看来访 IP 是否在列表里;给了反查域名的(Google、百度、字节、Common Crawl),对 IP 做反向 DNS,主机名要在官方域名下,再正向解析回同一个 IP。
冒充爬虫的请求想干什么?
本站看到的主要有三种:扫描 WordPress 接口,找 .env、secrets.json 这类密钥文件,以及抓取正文。安全公司 GreyNoise 的报告也记录了冒充 AI 爬虫找密钥文件的扫描器。
按 UA 屏蔽能挡住冒充者吗?
挡不住想挡的那部分。按 UA 屏蔽会同时挡掉真爬虫,而冒充者换个 UA 就进来了。要拦冒充者,得用 UA 加官方 IP 段一起判断。
日志里的 IP 匿名了还能核验吗?
只能粗略核验。本站 10-29 23:10 之后 IP 末段记为 .0,只能看所在 /24 是否与官方段重合:不重合可以确认是冒充,重合不能确认是真的。
- 点赞
- 收藏
- 关注作者
评论(0)