如何防止黑客使用恶意机器人来利用您的网站

bahar30

我一直都知道机器人会抓取我的网站以及我所有其他开发人员的网站，但我不知道机器人现在的访问量超过了人们对大多数网站的访问量。是的，他们在 2012 年正式超越了我们，现在机器人程序主导了网站访问。Egad，它的星球大战横冲直撞！ 不过，在我们惊慌之前，让我们先看看一些事实，这些事实证明了机器人在我们中间的优势。 机器人来了。机器人来了。机器人来了！ （图片来源） Incapsula 的2013 年机器人流量报告指出，“机器人访问量增加了 21%，占所有网站流量的 61.5%。”如果机器人占主导地位，这对我们意味着什么？ 对于那些刚刚收听的人来说，优势意味着“数量、数量或重要性更大的质量或事实”。这意味着在确定网站对潜在读者的价值方面，机器人“比人类更重要” 。 快速浏览一下优势的反义词就会发现，我们的困境比预期的还要糟糕。优势的反义词包括劣势、自卑、从属、屈从、投降和软弱。 然而，一切并没有丢失。并不是所有的机器人都是坏的。事实上，在 SEO 的狂野和毛茸茸的世界中，Googlebots 实际上是我们的朋友。“Googlebot”是 Google 的网络爬虫机器人，也称为“蜘蛛”，它爬取 Internet 以搜索新页面和网站以添加到 Google 的索引中。

Googlebots：我们在机器人大战中的盟友 如果我们将网络视为一个没有中央文件系统的不断增长的图书馆，我们就能准确地理解Googlebot 想要什么。Googlebot 的任务是抓取这个库并创建一个文件系统。机器人需要能够快速轻松地抓取网站。当 Googlebot 到达您的网站时，它的第一个访问点是您文件，这突 法国 WhatsApp 号码 出了确保漫游器轻件的重要性。Googlebot 在您网站的不相关部分上花费的时间越少越好。同时，请确保您没有无意中孤立或阻止了您网站中不应被阻止的页面。 网络爬虫（图片 来源） 接下来，Googlebots 使用 sitemap.xml 文件来发现您网站的所有区域。第一条经验法则是：保持简单。Googlebot 不会抓取 DHTML、Flash、Ajax 或 JavaScript，也不会抓取 HTML。由于 Google 一直未公开其机器人如何抓取 JavaScript 和 Ajax，因此请避免将此代码用于您网站的最重要元素。接下来，使用内部链接创建一个智能的逻辑结构，帮助机器人有效地抓取您的网站。要检查内部链接结构的完整性，请转到 Google 网站管理员工具 -> 搜索流量 -> 内部链接。顶部链接的页面应该是您网站上最重要的页面。如果不是，您需要重新考虑您的链接结构。


那么，你怎么知道 Googlebots 是否开心呢？您可以通过检查抓取错误来分析 Googlebot 在您网站上的表现。只需转到网站管理员工具 -> 抓取并检查诊断报告，了解潜在的站点错误、网址错误、抓取统计信息、站点地图和被阻止的网址。 我们中间的敌人：强盗机器人 Googlebot 并不是访问您网站的唯一机器人。事实上，超过 38% 的爬取我们网站的爬虫程序都是徒劳的。因此，不仅我们人数众多，而且您网站的每 5 个访问者中就有近 2 个试图窃取信息、利用安全漏洞并假装自己不是。 我们将这些邪恶的机器人称为“强盗机器人”。 那么我们该怎么办呢？ 作为 SEO 提供商和网站开发人员，我可以抗议。我可以把我的小心脏写出来，让几个朋友加入我的行列。或者我可以屈服并为我自己的网络小角落负责，并与强盗机器人进行反击。 让我们一起做这件事。 强盗机器人：它们是什么以及如何反击 终结者-机器人-dreamstime_s_34845625-C （图片来源） 坏人有四种口味。了解需要注意哪些机器人以及如何反击。 刮板 这些强盗机器人窃取和复制内容以及电子邮件地址。Scraper 机器人通常专注于从特定网站检索数据。他们还试图从目录或留言板上收集个人信息。虽然爬虫机器人针对各种不同的垂直行业，但常见的行业包括在线目录、航空公司、电子商务网站和在线房地产网站。Scraper bots 也会使用你的内容来拦截网络流量。