Ein Crawler oder genauer auch Web-crawler genannt, ist ein Programm, welches zum sammeln von Daten über Webseiten genutzt wird.
Er verfolgt Links einer Webseite, bis er schließlich in einer Schleife landet oder aber auf einer Webseite ohne weitere Verlinkungen.
Diese Informationen, die der Crawler sammelt, nutzen Suchmaschinen zur Indexierung und bereiten diese dann auf, um sie für den Nutzer zur Verfügung stellen zu können.