调试中的WordPress新网站如何设置不被搜索引擎抓取?

外贸建站 Andy 4493次浏览 0个评论

点击进入Siteground官网,跟随Wordpress教程搭建自己的外贸网站

在跟随前面的WordPress建站教程搭建好网站后,我们正常的想法当然是希望Google,Bing,百度等各大搜索引擎能够尽快给网站建立索引,加快网页收录,最终获得网站排名。

然而,如果我们的新网站还没有什么内容,正处于调试阶段时,其实是并不希望被搜索引擎收录的,比如下面这样的情况:

博客网站还没开始写文章?

B2B外贸站点还在犹豫选哪款WordPress主题更合适?

亚马逊联盟营销站点还没想好推广哪些产品?

Woocommerce商城刚搭建好框架,还没有进行上传产品,完善网站条款等操作?

如果这时候Google等搜索引擎就收录了网站,那么当我们后续更换网站主题,变更结构,调整内容时,不可避免地将会产生很多的‘404 not found’页面,更严重的是网站被降权,被惩罚,以至于长期得不到收录,而且也会给将来的网站SEO优化带来很多麻烦。因此,对于调试阶段不让搜索引擎抓取网站内容这一点,是众多站长的共识。

我前面有写过一篇文章:‘WordPress外贸建站新手需要了解的’提到过新站点如何设置不被搜索引擎收录,本文将演示实际操作过程(以Siteground虚拟主机搭建的Wordpress网站为例)。

 

调试中的Wordpress新网站如何设置不被搜索引擎抓取?

本文框架内容如下:

  • 什么是Robots文件?
  • WordPress网站(利用Siteground虚拟主机搭建)如何建立Robots文件?
  • WordPress网站调试完成后如何开放搜索引擎收录?

一.什么是Robots文件?

Robots文件的后缀是txt格式(Robots.txt),它是存放在网站根目录下的一个纯文本文件,通过Robots文件,我们可以设置让搜索引擎只抓取指定的网站内容,或者禁止搜索引擎抓取网站的全部或部分内容。

Robots文件是能够直接访问的,比如我的博客网址:https://www.exportb2c.com,那么你通过打开下面链接:https://www.exportb2c.com/robots.txt (域名+/robots.txt)就可以看到Robots文件内容:

调试中的Wordpress新网站如何设置不被搜索引擎抓取?

 

Robots文件内容格式:

User-agent: *
Disallow:

User-agent:用于描述搜索引擎蜘蛛的名字,表示Robots文件对这个搜索引擎有效。如果后面是*,那表明该协议对任何搜索引擎都有效。

Disallow: 用于描述不希望被访问到的网站内容。比如说有些配置信息,网站重要文件(wp-admin),我们就没必要对搜索引擎开放。而Disallow : / 则表明网站任何内容都不对搜索引擎开放。

比如我们想禁止所有搜索引擎收录网站,那么Robots文件要写下面内容:

User-agent: *
Disallow: /

二.WordPress网站(利用Siteground虚拟主机搭建)如何建立Robots文件?

通过Siteground虚拟主机将网站搭建起来后,需要注意的是:除了管理文件wp-admin,默认网站其它内容都是对搜索引擎开放的,你可以尝试输入你的域名+/robots.txt,会显示如下结果:

调试中的Wordpress新网站如何设置不被搜索引擎抓取?

因此新网站刚开始需要设置禁止任何搜索引擎收录,操作步骤如下:

1.登录Siteground后台,依次点击导航栏‘Websites’-‘SITE TOOLS’,进入管理界面。

调试中的Wordpress新网站如何设置不被搜索引擎抓取?

2.找到‘SITE’下的‘File manager’,然后网站域名下的 public_html 文件夹便是根目录,依次点击上方‘New File’-‘Create New File’,命名为Robots.txt文件。

调试中的Wordpress新网站如何设置不被搜索引擎抓取?

3.编辑如下‘Robots.txt’的文件内容,禁止所有搜索引擎抓取网站,然后点击‘Save’进行保存。

User-agent: *
Disallow: /

调试中的Wordpress新网站如何设置不被搜索引擎抓取?

完成上述步骤后,打开www.abc.com/robots.txt 进行验证即可(abc为你的网站域名),如下图所示,设置成功。

调试中的Wordpress新网站如何设置不被搜索引擎抓取?

三.Wordpress网站调试完成后如何开放搜索引擎收录?

当我们网站主题,大的结构都调整完毕后,如何放开搜索引擎对网站的抓取呢?操作也很简单,总共需要3个步骤:

1.删除上面创建的Robots.txt文件,网站便会恢复到刚开始的默认搜索引擎可抓取状态,可以打开www.abc.com/robots.txt 验证。

2.登录Wordpress网站后台,依次点击‘Setting’-‘Reading’-‘Search Engine Visibility’,搜索引擎可见处如果有打对勾,需要去掉,意思是建议搜索引擎索引站点

调试中的Wordpress新网站如何设置不被搜索引擎抓取?

3.利用Wordpress插件Yoast或者All in one SEO制作站点地图,之后提交给Google Search Console-谷歌站长工具,这样可以让Google更快发现我们的站点更新,建立索引,具体操作步骤可参考文章:‘如何提交Shopify站点到Google

Ok,今天的文章就分享到这里,内容虽然简单,但是对于一个Wordpress新站点来说是非常重要的,因此我们一定要重视起来才行。


ExportB2C.com , 版权所有丨如未注明 , 均为原创丨未经授权,严禁转载,否则本网将保留追究其法律责任的权利。
喜欢 (6)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

error: Content is protected !!