本文为大家介绍爬虫是什么技术(爬虫是什么软件)，下面和小编一起看看详细内容吧。
网络爬虫（也称为网络蜘蛛、网络机器人，在foaf社区中更常被称为网络追逐者）是按照一定规则自动抓取万维网上信息的程序或脚本。它们被广泛用于互联网搜索引擎或其他类似的网站，可以自动收集他们可以访问的所有页面的内容，从而获取或更新这些网站的内容和检索方式。从功能上来说，爬虫一般分为数据采集、处理、存储三个部分。
网络爬虫系统的作用是下载网页数据，为搜索引擎系统提供数据源。许多大型网络搜索引擎系统都是基于网络数据采集的搜索引擎系统，可见网络爬虫在搜索引擎中的重要性。
在网络爬虫的系统框架中，主要进程由控制器、解析器和资源库三部分组成。控制器的主要工作是为多线程中的各个爬虫线程分配工作任务；解析器的主要工作是下载网页并对网页进行处理。处理后的内容包括js脚本标签、css代码内容、空格字符、html标签等内容。资源库用于存储下载的网页资源，一般使用大型数据库进行存储和索引。
好了，爬虫是什么技术(爬虫是什么软件)的介绍到这里就结束了，想知道更多相关资料可以收藏我们的网站。