如何告诉搜索引擎不收录某些页面和目录?可以用robots告诉搜索引擎不收录的内容信息
大家好,我是做网站建设开发的小王,网站上线一段时间后,百度就会自动抓取网站的页面和目录,但是网站里面的一些目录我不想让百度收录,该怎么办呢?
别急,我们可以使用robots文件,把我们不想被收录的文件名和目录都写在里面,百度就不会抓取这个目录的页面了。
我下面就分享一些robots的书写方法
允许收录所有内容 User-agent: *
不收录文件夹 Disallow: /文件夹名/
不收录带有某一些符号的页面 Disallow: /*View&a=index&aid*
关注我,了解更多网站建设开发知识