伪装成 AI 爬虫的请求如何识别:15 天实测 236 次冒充

举报
yd_223480201 发表于 2026/11/11 10:14:38 2026/11/11
【摘要】 基于 OpenGEO 15 天服务器日志,介绍如何辨别伪装 AI 爬虫、核验来源并用 nginx 防护。

本文转载自 opengeo.page,原文链接:https://opengeo.page/tools/crawlers/fake/
来源:OpenGEO 项目|CC BY 4.0

一句话结论:UA 只是请求里自己写的一行字,不能证明身份。本站 2026-10-25 至 11-08 的日志里,2,511 次请求自称是收录表里的爬虫,按各家官方给的方法核验,至少 236 次是冒充;被冒充最多的是 Googlebot(190 次),冒充者主要在扫 WordPress 接口和找密钥文件【实测】。

本站抓到了哪些冒充?

自称 请求 确认冒充 冒充者所在网络 特征 【实测】
Googlebot 1,610 190 境外托管网段,其中一个网段 164 次,其余分散在另外 5 个网段 180 次用官方短 UA 原文;请求 /wp-json/、/wordpress/ 等
Baiduspider 57 28 一个境外托管网段的 1 个 IP UA 与官方一字不差,反查不是 baidu[.]com
ChatGPT-User 11 9 一个境外托管网段(4 个 IP) 请求 /.env.production、/secrets.json 等
GPTBot 155 2 一个境外托管网段 简化 UA Mozilla/5.0 (compatible; GPTBot/1.0)
ClaudeBot 122 2 一个境外托管网段 简化 UA,无官方邮箱
PerplexityBot 10 2 一个境外托管网段 简化 UA,无官方网址
Bytespider 2 2 一个境外托管网段 简化 UA,缺 zhanzhang[.]toutiao[.]com
Bingbot 323 1 一个境外托管网段 简化 UA Mozilla/5.0 (compatible; bingbot/2.0)

同期核验全部通过的:OAI-SearchBot(完整 IP 27 次)、Applebot(19 次)、Amazonbot(25 次反查到 crawl.amazonbot.amazon)【实测】。GPTBot、ClaudeBot 完整 IP 时段分别是 104/104、92/92 次通过。

「确认冒充」只算两种:完整 IP 时段(10-29 23:10 前)IP 不在官方列表、反查也不在官方域名下;匿名时段所在 /24 与官方段完全不重合。匿名时段 /24 重合的、官方没给核验方法的,都没有算进去,所以 236 是下限。表里不列具体 IP。

一个 /24 在 23 分钟里冒充了 6 个爬虫

2026-11-06 21:57 到 22:20(北京时间),一个境外托管网段里的同一个 /24 先后用 Baiduspider、Bytespider、ClaudeBot、GPTBot、Googlebot、PerplexityBot 六个名字发来 11 次请求,UA 都是 Mozilla/5.0 (compatible; 名字/版本) 这种去掉网址的简化格式,目标全是观测记录 #001【实测】。真爬虫各有固定的 UA 格式和网络,不会这样轮换,这是同一个程序在试哪个名字能进门【推断】。

冒充 Googlebot 的在扫 WordPress

190 次冒充 Googlebot 的请求里,最多的路径是首页、/wp-json/、/wordpress/、/news/wp-json/、/cms/?rest_route=/【实测】。本站是 Hugo 静态站,没有这些接口;这是借 Googlebot 的名字找 WordPress 漏洞的扫描【推断】。164 次来自同一个境外托管网段。

冒充 ChatGPT-User 的在找密钥

9 次冒充 ChatGPT-User 的请求来自一个境外托管网段的 4 个 IP,请求 /.env.production、/.env.dist、/.env.sample、/secrets.json 等文件【实测】。真 ChatGPT-User 只在用户让 ChatGPT 读某个网页时才来【官方】,不会去找配置文件。

看着可疑、但不算冒充的

360Spider:6 次请求的 UA 都以「User-Agent:」开头,格式不对;但所在 /24 都落在 360 官方公布的 6 个段里【实测】。更像 360 一侧把请求头写错了,本页不算冒充【推断】。
Bingbot:匿名时段 22 次的 /24 不在 bingbot.json 里,但都来自微软自己的网络;这份 JSON 本站读取时生成日期是 2024-01-03,可能不全【实测】,记为无法确认。
Meta-ExternalAgent:40 次全部来自 Meta 自己的网络,但 Meta 没有给官方核验方法,只能说网络对得上【实测】。
YisouSpider:1 次,UA 只有一个词,官方没有核验方法,无法判断。
deepseek-harness、dsh-desktop:UA 含 deepseek 的 15 次是工具和客户端,不是在冒充爬虫,也不是爬虫。

外部报告怎么说?

HUMAN Security(2025-09-09):分析两周内 16 个知名 AI 爬虫的流量,5.7% 自称 AI 爬虫的请求是冒充;被冒充最多的是 ChatGPT-User,约每 6 次就有 1 次是假的。部分冒充者用的是和真爬虫同一个 ASN、紧挨着官方段的 IP【推断】。来源:https://www.humansecurity.com/learn/blog/ai-crawler-spoofing-chatgpt-mistral-perplexity
GreyNoise(2026-08-28):一批扫描器冒充 8 家公司的 13 个 AI 爬虫找 .env、云密钥、私钥;其中 6 个名字来自同样的 824 个地址,没有一个在官方 IP 列表里,也从不请求 /robots.txt。它们的 ClaudeBot UA 与官方逐字一致;带 Google-Extended 名字的 263,849 次会话全部是伪造,因为 Google 根本不发这个 UA【推断】。来源:https://www.greynoise.io/blog/threat-actors-posing-as-ai-crawlers
Cloudflare(2025-08-04):称在测试域名禁止 Perplexity 后,观察到伪装成 macOS Chrome、来自不在 Perplexity 官方段的地址继续访问。这是反方向的情况:真公司换掉自己的 UA。Cloudflare 的单方观察,本页只转述【推断】。来源:https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/

本站的规模小得多,但看到的模式一样:冒充者偏爱被站长信任的名字,常用官方 UA 原文,只有 IP 对不上【推断】。

怎么自己核验一个请求?

按「完整 IP / 匿名 IP」分成四种核验结果、每种怎么处理,见场景页日志里的 Googlebot 是真的吗。

方法一:反向 DNS + 正向确认

Google 官方给的步骤(百度、字节、Common Crawl 思路相同,只是域名不同)【官方】:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

两步都要做:只看第一步,冒充者可以给自己的 IP 设一个假的反查名;第二步正向解析回同一个 IP,才能确认。各家官方域名:

爬虫 反查主机名应在 依据
Googlebot googlebot[.]com、google[.]com、googleusercontent[.]com 【官方】
Baiduspider baidu[.]com、baidu[.]jp 【官方】
Bytespider bytedance[.]com 【官方】
CCBot crawl[.]commoncrawl[.]org 【官方】
Amazonbot crawl.amazonbot.amazon 【实测】
Bingbot search[.]msn[.]com(另有官方 Verify Bingbot 工具) 【实测】

360Spider 官方说明不支持反查,只能对 IP 段【官方】。

方法二:对照官方 IP 列表

这些公司公布了 JSON 格式的 IP 段,来访 IP 在里面才算真【官方】:

OpenAI     https://openai.com/gptbot.json
https://openai.com/searchbot.json
https://openai.com/chatgpt-user.json
Anthropic  https://claude.com/crawling/bots.json
Perplexity https://www.perplexity.ai/perplexitybot.json
https://www.perplexity.ai/perplexity-user.json
Google     https://developers.google.com/static/crawling/ipranges/common-crawlers.json
Apple      http://search.developer.apple.com/applebot.json
Kimi       https://www.kimi.com/policies/kimibot.json
https://www.kimi.com/policies/kimi-searchbot.json
https://www.kimi.com/policies/kimi-user.json
腾讯混元   https://hy.tencent.com/policy/hyspider.json
Common Crawl https://index.commoncrawl.org/ccbot.json

每个名字对应自己的列表,不要混用:OpenAI 的三个爬虫各有一份【官方】。列表会更新,最好每天重新拉取。

方法三:看它在请求什么

真爬虫会请求 /robots.txt,不会去找 .env、/.git/config、/wp-json/ 这类和公开网页无关的路径【推断】。本站的冒充者大多在找这些。

nginx 怎么拦冒充者?

思路:UA 自称某个爬虫、IP 却不在它的官方段里,就返回 403;真爬虫和普通访客都不受影响。先把官方 JSON 转成 nginx 的 geo 文件,用 cron 每天跑一次:

#!/bin/sh
# /etc/cron.daily/crawler-ranges:拉取官方 IP 段,生成 nginx 可读的文件
set -e
mkdir -p /etc/nginx/ranges
fetch() {  # $1=名字  $2=官方 JSON 地址
curl -fsS "$2" | jq -r '.prefixes[] | (.ipv4Prefix // .ipv6Prefix) + " 1;"' > "/etc/nginx/ranges/$1.conf.new"
mv "/etc/nginx/ranges/$1.conf.new" "/etc/nginx/ranges/$1.conf"
}
fetch gptbot      https://openai.com/gptbot.json
fetch searchbot   https://openai.com/searchbot.json
fetch chatgptuser https://openai.com/chatgpt-user.json
fetch anthropic   https://claude.com/crawling/bots.json
fetch googlebot   https://developers.google.com/static/crawling/ipranges/common-crawlers.json
nginx -t && systemctl reload nginx

# http {} 里
geo $ip_gptbot      {
default
0;
include
/etc/nginx/ranges/gptbot.conf; }
geo $ip_searchbot   {
default
0;
include
/etc/nginx/ranges/searchbot.conf; }
geo $ip_chatgptuser {
default
0;
include
/etc/nginx/ranges/chatgptuser.conf; }
geo $ip_anthropic   {
default
0;
include
/etc/nginx/ranges/anthropic.conf; }
geo $ip_googlebot   {
default
0;
include
/etc/nginx/ranges/googlebot.conf; }

# UA 自称谁,就拿谁的 IP 段来比;"1:0" = 自称了但 IP 不在段内
map $http_user_agent $claimed_ok {

default
"";

"~*GPTBot"
"1:$ip_gptbot";

"~*OAI-SearchBot"
"1:$ip_searchbot";

"~*ChatGPT-User"
"1:$ip_chatgptuser";

"~*Claude(Bot|-User|-SearchBot)"
"1:$ip_anthropic";

"~*Googlebot"
"1:$ip_googlebot";
}
map $claimed_ok $fake_crawler {
default
0;
"1:0"
1; }

# server {} 里
if ($fake_crawler) {
return
403; }

几点注意:

网站在 CDN 或反向代理后面时,先用 set_real_ip_from 和 real_ip_header 拿到真实来源 IP,否则 geo 比较的是 CDN 的地址,会把真爬虫全拦掉。
官方 IP 段会变。cron 拉取失败时脚本不会覆盖旧文件,但长期不更新会误伤真爬虫。
百度、Bingbot 这类不公布(或不及时更新)IP 段的,nginx 本身做不了反查。可以每天用脚本对日志里自称它们的 IP 做反查,把确认冒充的 IP 写进 deny 名单。
本站目前没有部署这套规则,上面的写法只做过语法层面的核对。

这份统计的局限

只统计 UA 里带爬虫名字的请求。完全不写爬虫名、伪装成普通浏览器的抓取(Cloudflare 描述的那种),这里看不到。
10-29 23:10 之后 IP 匿名化,只能按 /24 粗判;236 是下限。
只有一台服务器、15 天、一个新站的数据,冒充比例不能推广到别的网站。
本页不公开任何访客 IP;冒充者所在网络只写「境外托管网段」这类通用说法,不公开 ASN 编号或网络运营商名称。

常见问题

怎么判断一个自称 Googlebot 或 GPTBot 的请求是真的?

看 IP,不看 UA。有官方 IP 列表的(OpenAI、Anthropic、Perplexity、Google、Apple、Kimi、腾讯混元等),看来访 IP 是否在列表里;给了反查域名的(Google、百度、字节、Common Crawl),对 IP 做反向 DNS,主机名要在官方域名下,再正向解析回同一个 IP。

冒充爬虫的请求想干什么?

本站看到的主要有三种:扫描 WordPress 接口,找 .env、secrets.json 这类密钥文件,以及抓取正文。安全公司 GreyNoise 的报告也记录了冒充 AI 爬虫找密钥文件的扫描器。

按 UA 屏蔽能挡住冒充者吗?

挡不住想挡的那部分。按 UA 屏蔽会同时挡掉真爬虫,而冒充者换个 UA 就进来了。要拦冒充者,得用 UA 加官方 IP 段一起判断。

日志里的 IP 匿名了还能核验吗?

只能粗略核验。本站 10-29 23:10 之后 IP 末段记为 .0,只能看所在 /24 是否与官方段重合:不重合可以确认是冒充,重合不能确认是真的。

【版权声明】本文为华为云社区用户转载文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。