Mit dem neuen System ist es nun auch etwas einfacher möglich Besuche von Suchmaschinen zu registrieren. Damit wird mir nun auch etwas deutlicher wie intensiv Suchmaschinen zeitweise das System runter ziehen können.
Zur Erklärung: Ein Suchmaschinen-Spider ist ein Zugriff deiner Suchmaschine wie Google, der alle Seiten abruft, die per Link auf den Seiten zu erreichen ist. Wenn also ein Spider auf RCWEB kommt, findet dieser auf der Hauptseite reichlich Links denen er nach geht. Und das zeitgleich. Es werden dann parallel alle möglichen Seiten von RCWEB abgerufen und für die Suchmaschine ausgewertet.
Dieses belastet natürlich den Server und zieht alle weiteren Besuche mit runter. Da wir hier aber täglich im Durchschnitt 10.000 Besucher haben und auch diese Ihre Seitenaufrufe machen, geht dass schon ganz schön an die Performance.
Nun könnte ich die Suchmaschinen aussperren, aber eine Seite wie RCWEB lebt davon dass sie in den Suchmaschinen present ist. Ich will mal schauen wie man das regeln kann.
Zur Erklärung: Ein Suchmaschinen-Spider ist ein Zugriff deiner Suchmaschine wie Google, der alle Seiten abruft, die per Link auf den Seiten zu erreichen ist. Wenn also ein Spider auf RCWEB kommt, findet dieser auf der Hauptseite reichlich Links denen er nach geht. Und das zeitgleich. Es werden dann parallel alle möglichen Seiten von RCWEB abgerufen und für die Suchmaschine ausgewertet.
Dieses belastet natürlich den Server und zieht alle weiteren Besuche mit runter. Da wir hier aber täglich im Durchschnitt 10.000 Besucher haben und auch diese Ihre Seitenaufrufe machen, geht dass schon ganz schön an die Performance.
Nun könnte ich die Suchmaschinen aussperren, aber eine Seite wie RCWEB lebt davon dass sie in den Suchmaschinen present ist. Ich will mal schauen wie man das regeln kann.