如何禁止网络爬虫下载你的网站？

来源：百度文库 编辑：神马文学网 时间：2024/04/29 01:53:27
使用Access Rule可禁止诸如GetRight, FlashGet, WebZip, Teleport等网络爬虫下载你的网站
在ZMI网站根下面创建一个Script(Python)脚本 accessRule:
request = context.REQUEST
user_agent = request.HTTP_USER_AGENT
denied_agents = ‘DA‘, ‘GetRight‘, ‘FlashGet‘, ‘Mass‘, ‘WebZIP‘, ‘Teleport‘, ‘Webdup‘, \
‘Spider‘, ‘LinkWalker‘, ‘TurnitinBot‘, ‘Slurp‘, ‘InetURL‘,
‘grub-client‘, ‘sohu-search‘
for denied_agent in denied_agents:
if user_agent.find(denied_agent) != -1:
raise "UserAgentError", "We don‘t allow download accelerators"
在ZMI网站根下，选择 Set Access Rule，输入Rule Id: accessRule, 这样就可以禁止离线浏览器访问。
如何禁止网络爬虫下载你的网站？ 网络爬虫 简单有效的防网络爬虫技巧？ dySE：一个 Java 搜索引擎的实现--网络爬虫 如何禁止电脑下载并安装软件 【菜鸟版教程】如何下载视频网站上的视频 政治小爬虫的生活 图书下载的网站 如何巧妙的利用网络收藏夹推广网站呢? 解除禁止下载ty 解除禁止下载1 怎样设置禁止下载 解除禁止下载101 如何做好你的第一个网站 如何做好你的第一个网站 如何让顾客信任你的网站? 如何让顾客信任你的网站? 教你如何创建自己的网站 教你如何创建自己的网站 教你如何建立自己的网站 如何推广你的个人门户网站 如何推广你的个人门户网站！ java开源项目——网络爬虫、html分析 六 -- 图论和网络爬虫 (Web Crawlers)