/*十有三博客*/
  • 首页
  • 关于本站
  • 网站地图
  • RSS订阅

禁止二级域名被搜索引擎蜘蛛抓取的思路

2016-07-20 十有三 0 浏览:5975 网站建设运维 网站维护 | 网站设计优化

之前遇到的一个问题,由于特殊的业务需求,几个二级域名不想让搜索引擎的蜘蛛进行抓取,另外这几个二级域名不需要任何权限也能浏览,总之是很奇怪的需求。后研究了下,要想让二级域名禁止百度等搜索引擎蜘蛛的抓取,可以利用robots协议来实现。

PS:关于robots协议可以网上找下相关资料,对于网站建设来说也是比较重要的知识。

这里要注意的是robots.txt是有局限的,并没办法指哪打哪,也就是没办法让你想让哪个二级域名不被抓取就能设置哪个域名。 

首先robots.txt文件必须放在网站根目录下,协议是针对网站目录而不是域名。所以二级域名的网站文件如果没放在单独的文件夹中,那么不适合使用robots.txt文件来禁止爬虫抓取。

如果二级域名网站所在的文件夹还同时绑定了其他顶级域名,使用robots协议可能导致所有绑定到此文件的域名都不会被搜索引擎蜘蛛抓取。

在robots.txt中禁用所有爬虫抓取所有路径的语法如下:

User-agent: *
Disallow: /

 


作者:十有三

出处:https://shiyousan.com/post/636046038396304849

版权声明:本文采用知识共享许可协议:署名-相同方式共享 4.0 国际(CC BY-SA 4.0)。欢迎转载本文,转载请声明出处或保留此段声明。


  • 上一篇: 阿里云ECS远程连接错误:由于一个协议错误(代码:0x112f),远程会话将被中断。请重新跟远程计算机连接
  • 下一篇: 利用负载均衡的思路提高开发电脑的配置

相关文章
  • JSON Hijacking 翻译对照
  • IIS 8.5的配置文件存放路径
  • 解决Windows虚拟主机无法设置IIS配置但需要添加MIME类型的问题
  • 由于 Web 服务器上的“ISAPI 和 CGI 限制”列表设置,无法提供您请求的页面
  • HTTP 错误 404.17 - Not Found请求的内容似乎是脚本,因而将无法由静态文件处理程序来处理。
  • 博客底部的CC协议图标裂开了-404错误
发表评论
记住昵称

文章分类

.NET技术 123 数据库 24 Web前端 21 网站建设运维 37 操作系统与应用 66 程序猿日常 11 开发工具 12 其他随笔 13

文章标签

ASP.NET ASP.NET MVC C# CSS HTML IIS Javascript Linux MongoDB MySql SQL SQL Server Visual Studio Windows系统 版本控制系统 插件工具 服务器 搞笑娱乐 好文分享 软件应用 生活知识 手机问题 随笔 网络知识 网站设计优化 网站维护 养生保健 异常处理 硬件设备 游戏攻略

热门文章

  • IIS8如何安装和使用URL重写工具-URL Rewrite
  • 林蛋大与楚中天,朱肚皮与朱月坡
  • 解决IE11安装升级失败和在安装前需要更新的问题
  • VS重构重命名的快捷键
  • Windows Server 2012无法安装 .NET3.5-安装角色或功能失败,找不到源文件

推荐文章

  • 使用国内镜像解决Git for Windows下载缓慢及不稳定的问题
  • 解决vs2010添加项目后解决方案资源管理器中没有显示解决方案的问题
  • ASP.NET 301跳转或者进行301重定向/转向的方法
  • ASP.NET中.aspx页面使用<script runat="server">标记无法输出"</script>"字符串
  • 随笔:阿里绿网方便但是有点小敏感

最新评论

  • 可乐可乐,谢谢谢谢谢*10086
  • 按上边的2个步骤,没有解决问题。 最后是右键
  • 不错
  • 专门过来看的,讲的很好,学到了很多。
  • 下面的隐藏按钮勾上 就不会出现了

友情链接

  • Passingwind的博客
  • 坤哥网
  • 码友网
  • 王政乔|中国

知识共享许可协议 CC BY-SA 4.0本站作品采用知识共享许可协议:署名-相同方式共享 4.0 国际(CC BY-SA 4.0)。
闽ICP备15003702号