抓取快照
如何禁止搜索引擎取快照
代码问题 • [已注销] 回复了问题 • 2 人关注 • 3 个回复 • 2179 次浏览 • 2018-07-05 11:43
在禁止抓取域名的网站根目录新建一个robots.txt文件
通过写禁止搜索引擎抓取的robots.txt文件来禁止引擎的抓取！
代码内容：
[quote]
[list=1]
User-agent: *
Disallow: /
[... 显示全部 »
通过写禁止搜索引擎抓取的robots.txt文件来禁止引擎的抓取！
代码内容：
[quote]
[list=1]
User-agent: *
Disallow: /
[... 显示全部 »
在禁止抓取域名的网站根目录新建一个robots.txt文件
通过写禁止搜索引擎抓取的robots.txt文件来禁止引擎的抓取！
代码内容：
[quote]
[list=1]
User-agent: *
Disallow: /
这个禁止抓取非常适合新站建立初期，内容不多或架构不健全，引擎快照更新慢的情况尤其适合！
通过写禁止搜索引擎抓取的robots.txt文件来禁止引擎的抓取！
代码内容：
[quote]
[list=1]
User-agent: *
Disallow: /
这个禁止抓取非常适合新站建立初期，内容不多或架构不健全，引擎快照更新慢的情况尤其适合！