Ein Webmaster hatte sich darüber beschwert, dass durch Google von etwa 40.000 Seiten nur 100 wirklich indiziert wurden. Als Beispiel führt der Mitarbeiter zwei Seiten auf, die ihre URLs mittels XML-File an Google gesendet hatten: die eine besaß knapp 18.000 Seiten, von denen alle indiziert wurden, die andere über sieben Millionen, von denen Google nur etwa vier Millionen indiziert hatte, also etwa 53 Prozent aller Seiten.
Warum also indiziert Google alle Seiten der einen Seite und nur gut die Hälfte der anderen? Weshalb hat Google im fraglichen Falle nur 100 von 40.000 Seiten indiziert? Der Mitarbeiter erklärt weiter, dass es für den Googlebot aufwendiger sei, die nicht in der Sitemap enthaltenen URLs zu finden, und es daher länger dauere, bis alle Seiten indiziert seien. Außerdem sei zu beachten, dass der Google-Suchalgorithmus dazu führen könne, dass nicht alle Seiten indiziert werden. Dies sei etwa bei zu einfachem Inhalt der Fall. Der Crawler lese die Seite und könne anhand des Inhaltes oder des PageRanks entscheiden, dass die Seite sozusagen überflüssig sei.
Weitere Infos sowie Dienstleistungen rund um SEO und Webmastertätigkeiten unter www.webmaster-seo.de/kategorie/seo.
