robots有什么用,怎么写?

2021-10-20 14:35

robots是什么?

robots基本上是每个网站都有的文件,它其实是一种搜索引擎协议,这个协议的作用就是让我们可以选择屏蔽一些页面,不然搜索引擎抓取这些页面,甚至可以屏蔽某个搜索引擎来抓取你的网站。

robots

一般情况下,当搜索引擎来到我们网站的时候,会先扫描一下这个文件再进行下一步的抓取,如果没有这个文件存在,则搜索引擎默认你的网站没有任何约束,当然我们制定了协议之后,搜索引擎是否会遵守我们是无法干预的,但是搜索引擎一般会不会违反协议。

robots语法

•基本语法:

User-agent 定义协议的搜索引擎。

Disallow 不允许抓取

Allow 允许抓取

通配符,代表所有

结束符

•详情讲解:

User-agent:*//所有的搜索引擎都要遵守

User-agent:Baiduspider//针对百度的协议

Disallow:///屏蔽全站

Disallow: /can///屏蔽can文件下的所有文件

Allow: /can/123//屏蔽can文件下的所有文件,但是允许收录123

Disallow:/.jpg//屏蔽所有的图片文件

Sitemap:zuijiakeji.com/sitemap.xml//网站地图文件

•注意事项

英文的首字母一定要大写

问号一定是英文状态下的

问号之后一定要有一个空格

使用通配符,一定要有结束符。不然可能导致正常的路径被屏蔽。

robots怎么使用

•统一路径

在我们的网站中,指向页面的路径一定是有且只有一个。一旦多途径指向一个页面,会导致百度不知道收录那个页面。所以我们只要屏蔽了一个,让百度收录我们想让收录的。

•搜索路径

我们网站的搜索功能都是靠后端php或者是java等等方式实现的,如果直接将这些文件暴露出来对于我们网站是十分危险的,可能第二天就被攻击了,所以我们需要屏蔽掉搜索路径来增加网站的安全性。

•系统文件

我们一个功能齐全的网站自然是不可能只有html页面的,js、php等技术是必不可少的,何况现在都是使用cms来进行网站的管理,如果这些文件被百度抓取并暴露出来,我们的网站也就没有任何秘密可言了。

•标签路径

有的小伙伴网站上可能有些标签页面,如果是用一些比较有年代感的系统的话,这些页面的链接可能出现中文,而中文链接对于搜索引擎来说总是不那么友好的,所以要屏蔽掉。

robots该屏蔽那些文件

其实网上对于robots的写法已经很完善了,不过既然说到这里了就简单讲一下吧。

•系统文件

我们cms系统文件都是要列入屏蔽名单的,不能放出来。

•模板文件

模板文件里面会有一些我们后台独有的标签,如果放出来之后可能就会被别人迅速破解掉后台。

•图库

如果不是做图片网站的话,还是非常建议将图库文件给屏蔽掉的。

•会员文件

有的小伙伴可能网站会有会员功能,我们也可以将会员系统给屏蔽掉。

•统计报告

同上,有的小伙伴也可以屏蔽掉哦。

•css/js

我们的样式表和js文件在网站资源少的情况下可以屏蔽掉,当然也可以留着给搜索引擎让其能够更好的了解我们的网站结构。

以上就是今天robots是什么,怎么写?的全部内容了,希望能够对你有所帮助。要注意的是小伙伴们不要将整站屏蔽,百度抓取不到网页,可能会掉收录。

相关内容:sitemapnofollow

人才招聘

(简历投放邮箱):zjkj@zuijiakeji.com

备案信息

备案号渝ICP备18016093号-2 备案图标.png 渝公安网备50010502001963号

  • 成都负责人

    免费获取报价(成都)

  • 重庆负责人

    免费获取报价(重庆)

  • 公众号

    关注微信公众号

联系我们

重庆总部

联系人:许总   联系电话:15523213114

联系地址:重庆市两江新区新光大道62号海王星科技大厦C区7楼713

成都分公司

联系人:李总   联系电话:18323256987

联系地址:四川省成都是高新区剑南大道1533号时代晶座3栋1118,1119号