防爬虫设定

网页爬虫是来访问和读取网页数据的,如果你不希望网站上某个网页被这类爬虫爬取,请依次点击:

“在线商店”-“偏好设置”,看到“防爬虫设定”:

mceclip0.png

 

点击“添加防爬虫页面”按钮,然后输入该页面的Path,并点击“添加”按钮。

 

mceclip3.png

Path即页面URL中,跟在域名后面的部分,

例如页面URL【https://admin.myshopline.cn/user/signin】,域名是【admin.myshopline.cn】,

Path是【user/signin】。

如果更换网站域名,或页面URL变化,则需要更新防爬虫设定。

我们建议您在做这部分设定前,先咨询您的SEO优化师,因为谷歌等搜索引擎也使用爬虫来收录页面和抓取数据,如果开启了防爬虫设定,搜索引擎就无法收录此页面,可能会影响SEO策略的效果。

 

还有其它问题?提交请求

评论