Wenn eine neue Website an den Start geht, ist das für alle Beteiligten ein aufregender Moment. Nach dem Launch muss die neue Website oft sofort den zweiten großen Test bestehen: Findet man sie schon bei Google?

Wer sich schon gut mit Google auskennt, hat sofort nach dem Launch die unten beschriebenen Maßnahmen ergriffen, damit Google auf die neue Website aufmerksam wird und wartet nun ganz entspannt ein paar Tage ab.

Wer aber zum ersten Mal eine Website veröffentlicht, hat sich eventuell noch gar nicht damit auseinander gesetzt, wie eine Website überhaupt bei Google aufgenommen wird. Man hat zwar am Rande schonmal irgendwo den Begriff „Crawler“ oder „Google Bot“ gehört, aber keine wirkliche Vorstellung davon, was sich dahinter verbirgt.

Weit verbreitet ist nach wie vor die Annahme, dass Google — in dem Moment in dem man seine Suchanfrage abschickt — das ganze Web danach durchsucht. Um so größer dann die Sorge, wenn die eigene Website nicht sofort nach dem Freischalten von Google gefunden wird.

Don't panic

Eine Website kann erst bei Google auftauchen, wenn sie in den Google Index aufgenommen wurde. Der Google Index ist das Herzstück von Google: hier werden alle Websites gespeichert und zwar mit ihrer URL und mit beschreibenden Informationen, mit denen die Website sinnvoll mit Suchanfragen verknüpft werden kann. Bei einer Suchanfrage wird dann der Google Index durchsucht.

Dieser Index muss mit Informationen gefüttert werden. Das machen die so genannten Crawler, die ständig im Web auf der Suche nach neuen Informationen unterwegs sind und die in regelmäßigen Abständen alle ihnen bekannten Websites besuchen, um nachzuschauen, was sich in der Zwischenzeit verändert hat. Je öfter sich etwas ändert, desto öfter schauen sie vorbei.

Wie kriegt man es jetzt hin, dass die Crawler auf der eigenen, neuen Website vorbeischauen und dass diese in den Google Index aufgenommen wird?

Szene am Schreibtisch, Frau am Laptop

Verlinken

Die Google Crawler werde nicht automatisch auf alle Websites aufmerksam, die irgendwo im Web herumfleuchen. Eine Website, auf die nicht verlinkt wird, ist quasi nicht auffindbar — außer man kennt ihre Adresse. Damit der Crawler also auf die eigene Website kommen kann, muss diese verlinkt werden und zwar auf einer oder im besten Falle auf mehreren Websites, die Google bereits kennt. Sobald der Crawler dort wieder vorbeischaut, folgt er dem Link und indexiert die neue Website. Vorausgesetzt, die Website gestattet die Indexierung durch Suchmaschinen. Das ist eine Entscheidung, die man für jede Website individuell treffen kann (dazu gleich mehr).

Anmelden

Die zweite — schnellere — Möglichkeit ist, Google bescheid zu sagen, dass es eine neue Website unter einer bestimmten URL gibt. Dafür hat Google extra eine eigene Seite, auf der man die neue Website eintragen kann. Zur Verwendung dieser Seite benötigt man allerdings ein Google Konto.

Trägt man dort die URL der neuen Website ein und übermittelt das Formular, stellt man einen Antrag, dass diese Website in den Index aufgenommen wird. Es reicht, die URL der Startseite einzureichen, alles andere findet Google dann von allein.

Google weist darauf hin, dass nicht alle eingereichten URLs zum Index hinzugefügt werden und es keine Gewähr gibt ob und wann die Website in Google erscheint. Bei einer Firmenwebsite, einem persönlichen Blog etc. (Websites, die keinen Ü18 Content enthalten), geht das erfahrungsgemäß super fix und hat bei uns noch nie länger als 48 Stunden gedauert.

Eine neue Website einreichen:
google.de/submit_content.html

Andere Inhalte einreichen (Apps, Rezensionen, Firmenstandort):
support.google.com/webmasters/answer/6259634?hl=de

Bitte die Website nur ein einziges Mal einreichen: Viel hilft nicht viel, sondern kann sich im schlimmsten Fall sogar kontraproduktiv auswirken.

Und die anderen?

Ach ja, da sind ja noch die anderen Suchmaschinen. Google ist nach wie vor bei den Suchmaschinen unerreichter Spitzenreiter und tatsächlich ist es noch nie vorgekommen, dass bei uns mal jemand nachgefragt hätte, warum Bing die neue Website nicht anzeigt. Nichts desto trotz: Das Prinzip der Verlinkung gilt natürlich für alle Suchmaschinen und auch bei Bing hat man die Möglichkeit, seine Website anzumelden, und zwar ohne, dass man dafür ein extra Konto benötigt:

bing.com/toolbox/submit-site-url

Klappt alles nicht?

Wenn die neue Website auch nach mehreren Wochen bei Google nicht auftaucht, sollte man zuerst überprüfen, ob die Seite tatsächlich noch nicht indexiert ist.

Dazu sucht man bei Google auf die folgende Art nach der eigenen Website:

site:meine-eigene-domain.de

Für dieses Blog lautet die Suchanfrage also:

site:blog.luxo-five.rocks

Erscheint kein Suchergebnis, wurde die Website noch nicht aufgenommen.

Der wahrscheinlichste Grund (abgesehen von Ungeduld) ist, dass die Website eine Indexierung durch Suchmaschinen nicht gestattet. Für jede Website kann individuell festgelegt werden, ob die Website vollständig, teilweise oder gar nicht indexiert werden darf. Das regelt eine Datei namens robots.txt. Bei Wordpress gibt es z.B. unter „Einstellungen“ > „Lesen“ das Häkchen „Verbietet Suchmaschinen die Website zu indexieren“. Ist das Häkchen hier gesetzt, wird die robots.txt-Datei in der Wordpress-Installation entsprechend geändert. Der Crawler kommt vorbei, schaut zuerst in die robots.txt, kriegt ein „Nö, hier darfst Du nicht indexieren“ und geht wieder.

Um herauszufinden, ob die eigene Website eine robots.txt benutzt und was diese erlaubt oder verbietet, trägt man in die Adresszeile des Browsers die URL der Website ein, die man überprüfen möchte und fügt ein „/robots.txt“ an. Für dieses Blog wäre das also:

blog.luxo-five.rocks/robots.txt (gibt keine)

Steht in dieser z.B.

User-agent: *
Disallow: /

bedeutet das, dass der Zugriff auf die gesamte Website für alle Bots verboten ist. Dann muss man entweder in seinem Content Management System schauen, wo sich die Einstellung befindet, über die man die Website für Bots freigeben kann oder man muss direkt in die robots.txt schreiben — aber bitte Achtung: Das sollte man nur dann tun, wenn man wirklich weiss, was man tut. Gerade bei Content Management Systemen ist in dieser Datei sehr genau geregelt, auf welche Bereiche (zum Beispiel Dateiverzeichnisse oder private Bereiche) Bots nicht zugreifen dürfen und das aus sehr gutem Grund. Also immer dran denken: With great power comes great responsibility ;)
-- isi
-- Bildnachweis: FirmBee | Pixabay

Top