¿Qué es un Spider?
Un Spider también conocido como Robot y Crawler es un programa que los motores de búsqueda usan para encontrar informacion deseada. En este artículo se trabaja principalmente en los Crawler para encontrar páginas. Cuando un Crawler visita una de nuestras Paginas Web hace lectura de los contenidos desde una Base de Datos. Los textos de cada página son revisados para que en caso de no estar en la base de datos se pueda determinar su registro en los motores de búsqueda.
Y aqui le dejamos unos enlaces en los que les daran informacion acerca de los diferntes tipos y de los spider con propositos ilegales http://www.alegsa.com.ar/Dic/spider.php http://es.wikipedia.org/wiki/Motor_de_búsqueda espero que le sirva de ayuda.Un saludo