网站建设
苏州SEO关键词优化一站式服务

【岳阳seo】使用robots.txt屏蔽蜘蛛对网站的抓取

搜索引擎机器人不断抓取网站,以便将它们添加到搜索引擎索引中。但是,有时开发人员希望将自己的网站或特定页面隐藏在搜索引擎结果中,在这种情况下,robots.txt可用于阻止搜索引擎蜘蛛访问网站。在本教程中,您将学习如何创建robots.txt文件并阻止搜索引擎蜘蛛访问或抓取网站。

步骤1 – 访问服务器并创建新文件

首先,创建一个robots.txt文件,可以使用FTP客户端或宝塔面板将该文件上传至所属网站的根目录下。

第2步 – 编辑robots.txt

每个搜索引擎都有自己的抓取工具(user-agen),在robots.txt中,您可以指定抓取工具User-agent。互联网有数百个爬虫,但最常见的是:

Googlebot

Yahoo! Slurp

bingbot

AhrefsBot

Baiduspider

Ezooms

MJ12bot

YandexBot

例如,如果想阻止百度抓取工具访问正规网站,则可以使用以下规则编辑robots.txt:

User-agent: Baiduspider

Disallow: /

如果要阻止所有搜索引擎抓取工具,可以使用*作为通配符:

User-agent: *

Disallow: /

如果要阻止搜索引擎爬网程序仅访问特定文件或文件夹,则使用类似语法,但是,需要指定文件或文件夹的名称。假设我们想阻止搜索引擎抓取工具仅访问文章文件夹(articles)和private.php文件。在这种情况下,robots.txt文件的内容应如下所示:

User-agent: *

Disallow: /articles/

Disallow: /private.php

完成编辑robots.txt文件后,保存更改,并上传至网站的根目录下。可以在浏览器搜索栏中输入,域名/robots.txt 进行查看。

历史上的今天
一月
6
    哇哦~~~,历史上的今天没发表过文章哦
赞(0) 打赏
未经允许不得转载:苏州SEO优化 » 【岳阳seo】使用robots.txt屏蔽蜘蛛对网站的抓取
分享到: 更多 (0)
标签:

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  • Q Q(选填)

网站建设与SEO关键词优化一站式服务

SEO咨询建站咨询

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

×
订阅图标按钮