08. 技术 SEO、抓取、索引与性能 · 整理推断 · 完整资料库

robots.txt 管“抓取”而 meta noindex 管“索引”；

来源：【哥飞SEO教程】多语言网站 robots.txt 设置指南：如何正确阻止不希望被抓取的页面