Crawler – Webcrawler Nedir?

Web sitelerini dolaşıp tarayarak analiz eden programlardır. Analizler sonucu Web sitelerini arama motoru dizinine kaydeder.