08. 技术 SEO、抓取、索引与性能 · 已观察 · 完整资料库

页面允许抓取，但根路径和语言前缀下的 API 路径均被 robots 禁止。

适用条件

robots 只是爬虫指令，不是访问控制。

来源：StickerShow robots