Un crawler (detto anche web crawler, spider o robot), è un software che scarica e indicizza i contenuti presenti nel web. A livello SEO è un termine molto importante perché viene utilizzato dai motori di ricerca per analizzare di quale argomento tratta ogni pagina applicando un algoritmo di ricerca.
Grazie al crawler il motore di ricerca è in grado di fornire link utili in risposta alle query degli utenti.