Crawling

Der Prozess bei dem Suchmaschinen-Bots (Spider) das Internet durchsuchen und Webseiten indexieren. Damit Google eine Seite kennt, muss sie gecrawlt werden.