robots txt 怎么写？

主机参考：VPS测评参考推荐/专注分享VPS服务器优惠信息！若您是商家可以在本站进行投稿，查看详情！此外我们还提供软文收录、PayPal代付、广告赞助等服务，查看详情！

我们发布的部分优惠活动文章可能存在时效性，购买时建议在本站搜索商家名称可查看相关文章充分了解该商家！若非中文页面可使用Edge浏览器同步翻译！PayPal代付/收录合作

倾城翻翻分身一网友：
www.domain.com/tag/111/page/1/

www.domain.com/tag/222/page/1/

www.domain.com/tag/333/page/1/

www.domain.com/tag/999/page/1/

我要禁止收录所有这样的网址，tag是要收录的，page是要收录的，只是page/1不收录，111-999是不断变化的。

如果是www.domain.com/tag/111/page/２/　是要收录的。

hxuf网友：
随他收啊这种怕啥、。

Tcp80网友：
百度一分钟论坛两小时

imsun网友：
https://www.hostloc.com/robots.txt

参考一下，抄一抄很难吗…..

本文由主机参考刊发，转载请注明：robots txt 怎么写？ https://zhujicankao.com/5586.html