为了让 Google 或 Bing 等搜索引擎能够发现您的商店,您需要设置允许访问您的网页。但是,有些网页您不想出现在搜索结果中,例如登录页面、搜索结果页面以及购物车和结帐页面。robots.txt 文件是一种阻止搜索引擎爬虫(机器人)为这些页面编制索引的工具。

作为全站HTTPS的一部分,我们会自动备份和调整您的 robots.txt 文件。当您通过 WebDAV 连接到您的商店时,您可以在根文件夹中找到这些备份文件。无需更新文件。

默认搜索引擎机器人文件

要查看或编辑 robots.txt 文件,请转到网站选项卡 下的 商店设置 › 商店设置,然后向下滚动到搜索引擎机器人 部分。

这是 HTTPS 机器人文件的默认值。如果您出于任何原因需要恢复到原始文件,可以使用它。用户代理:

User-agent: *
Disallow: /account.php
Disallow: /cart.php
Disallow: /checkout.php
Disallow: /checkout
Disallow: /finishorder.php
Disallow: /login.php
Disallow: /orderstatus.php
Disallow: /postreview.php
Disallow: /productimage.php
Disallow: /productupdates.php
Disallow: /remote.php
Disallow: /search.php
Disallow: /viewfile.php
Disallow: /wishlist.php
Disallow: /admin/
Disallow: /__socialshop/

编辑机器人文件

您可以编辑您的robots文件以更改要抓取的网站。但是,我们强烈建议您不要这样做,除非您熟悉 robots.txt 文件并了解对 SEO 的潜在影响。

注意!我们不建议您更改 robots.txt 文件,除非您熟悉并熟悉它们的工作方式。更改这些文件将直接影响搜索引擎抓取哪些页面,因此出错可能会导致负面的 SEO 影响。

在进行任何更改之前,请检查默认情况下不允许的文件列表。

如果您想请求搜索引擎机器人不抓取特定页面或子目录,请添加“ Disallow: ”,后跟 URL。例如:

保存更改后,可能需要几天或几周的时间,搜索引擎才会重新抓取您的网站并适当地重新索引。您可以重新提交站点地图或直接通过Google Search Console提交 URL 删除。有关提交站点地图的更多信息,请参阅使用站点地图

默认情况下不允许的文件

用户代理:AdsBot-Google 或 * – 如果值为 *,则表示所有机器人/蜘蛛都应遵循禁止规则。如果值为 AdsBot-Google,则此行表示以下禁止规则仅适用于 AdsBot-Google。AdsBot-Google 是 Google 用来通过 Google Ads 平台抓取与广告(通常是付费搜索)相关的着陆页的机器人。但是,AdsBot-Google 也可用于通过 DoubleClick、Google Ads 和 AdSense 投放的展示广告。

Disallow: /account.php — 此行阻止 AdsBot-Google 抓取商店帐户页面。更具体地说,当商店访客注册商店以完成购买或获取订单状态更新时,通常会访问这些页面。这与店主的BigCommerce 帐户无关。

Disallow: /cart.php — 这可以防止抓取购物车页面。由于购物车页面取决于商店用户选择的商品,因此将此页面列在搜索引擎中会很奇怪。此外,如果新网站访问者登陆购物车页面,其中包含其他人选择的商品,这将为他们提供糟糕的用户体验。

Disallow: /checkout.php — 这可以防止结帐页面的抓取。与购物车页面一样,此页面依赖于用户输入,并且作为搜索结果没有任何价值。此外,结帐页面可能包含敏感数据,例如姓名、电子邮件、地址和信用卡信息。通过阻止此页面出现在搜索引擎中,BigCommerce 保护了从任何商店购买的消费者的个人数据并保持 PCI 合规性。

Disallow: /finishorder.php — Finishorder.php 通常包含大量个人数据。通过阻止搜索引擎抓取此页面,BigCommerce 可以保护消费者数据并保持 PCI 合规性。

Disallow: /login.php — 这可以防止抓取商店客户登录页面。由于该页面内容很少,对商店的新访客没有价值,因此被搜索引擎屏蔽。

Disallow: /orderstatus.php — 订单状态页面需要用户登录才能看到该页面的内容。由于搜索引擎没有商店帐户并且无法将数据输入到文本字段中,因此该页面被阻止。

Disallow: /postreview.php — 与 orderstatus.php 页面类似,用户需要登录才能发布产品评论。由于搜索引擎没有商店帐户并且无法将数据输入到文本字段中,因此该页面被阻止。

Disallow: /productimage.php — Productimage.php 用于在产品页面上创建一个 jquery 灯箱窗口,通常在用户单击产品页面上的产品图像时执行。弹出窗口不是具有自己 URL 的专用页面,并且在产品页面上复制了一些文本,因此它被阻止以防止重复内容、搜索控制台(网站管理员工具)中缺少标题标签和描述警告以及内容薄弱的处罚。

禁止:/productupdates.php — 不再使用。

Disallow: /remote.php — 用于存储 AJAX 调用,实际上并不生成可供人类使用的页面。

Disallow: /remote.php — 用于存储 AJAX 调用,实际上并不生成可供人类使用的页面。

禁止:/search.php – 此页面处理来自商店搜索框的搜索。谷歌此前曾表示,搜索结果页面不是他们想要的索引。它通过从搜索结果页面转到另一个搜索结果页面而不是直接访问结果来创建糟糕的用户体验。

Disallow: /viewfile.php — 用于将文件附加到订单。这通常发生在数字交易中,例如数字下载和 pdf。由于出售的物品是数字商品,因此将其编入索引将使未购买该文件的人可以使用它。

Disallow: /wishlist.php — Wishlist.php 依赖于用户,对搜索者几乎没有价值。此外,根据用户添加到愿望清单的产品数量,页面可能被视为稀薄内容和/或重复内容。此页面被阻止以防止糟糕的用户体验并消除对稀薄/重复内容的担忧。

Disallow: /admin/ — 出于安全原因,商店登录路径被阻止。通过使登录页面难以找到,黑客在某种程度上受到了直接攻击的阻碍。此外,此页面对搜索者没有任何价值。

禁止:/__socialshop/ — 不再使用。

Disallow: /?_bc_fsnf=1  — 这会阻止机器人跟踪分面搜索链接并导致性能问题。

Disallow: /&_bc_fsnf=1  — 这会阻止机器人跟踪分面搜索链接并导致性能问题。

常问问题

我的试用商店会被搜索引擎索引吗?

所有 BigCommerce 试用在创建时都设置为私有,从而防止搜索引擎在您的商店仍在开发时为您的商店编制索引,并且它会阻止公众在您的商店准备好发布之前浏览您的商店。

对于我的一些网址,Google Search Console 显示警告“已编入索引,但已被 robots.txt 阻止”。我应该怎么办?

默认情况下,robots.txt 文件会阻止与客户结帐和帐户相关的 URL。出于安全原因,应阻止这些。如果您没有更改 robots.txt 文件,则可以忽略警告。该警告只是为了通知您某些 URL 被阻止并且是故意的。

为什么我的禁止网页出现在搜索结果中?

虽然将网页 URL 添加到您的 robots.txt 文件可以阻止搜索引擎抓取该页面,但如果它是从网络上的其他位置链接的,它仍可能会被编入索引。

为防止大多数搜索引擎爬虫将您商店中的页面编入索引,您可以自定义它们的标题以包含noindex元标记。请记住,如果操作不当,这可能会严重影响您商店的 SEO,因此您可能需要联系合作伙伴以帮助进行此更改。