Suchmaschinen sind Datenbanken, die versuchen, möglichst
viele Internetseiten zu lesen und in Wortlisten zu verzeichnen.
Diese Wortliste nennt man Index, in dem auch die zu
den Wortlisten gehörigen Adressen (URL) gespeichert
werden.
Das Lesen aller Internetseiten ist eine unerfüllbare
Aufgabe und daher arbeiten mehrere Rechner parallel.
Diese so genannten Cluster übertragen ihre Ergebnisse
auf eine gemeinsame Datenbank.
Der Roboter durchsucht und analysiert das Internet permanent.
Er verfolgt Links und erreicht dadurch immer weitere
Seiten. Als Benutzer sieht man nur die Weboberfläche
des Roboters, die als Suchmaske erscheint und in der
man die gewünschten Suchbegriffe eingeben kann.
Aufgrund dieser stichwortartigen Suche mittels Suchbegriffen
erstellt der Roboter die Wortlisten und wirft je nach
Anfrage entsprechende Seitenvorschläge aus. Bei
der Erstellung einer Internetseite, sollte sich diese
Wortliste vor Augen geführt und relevante Schlüsselbegriffe
möglichst häufig verwendet werden. Dadurch
wird gewährleistet, dass der Roboter bei entsprechenden
Suchanfragen die eigene Seite anbietet.