08. 技术 SEO、抓取、索引与性能 · 整理推断 · 完整资料库

登录、参数、资源、API、重复页、已删除页分别需认证、canonical、noindex、状态码或 robots 策略，不能一刀切。

来源：【哥飞SEO教程】多语言网站 robots.txt 设置指南：如何正确阻止不希望被抓取的页面