Hilfe zur Robots.txt

  • Hallo Forumianer :thumbsup:,


    ich möchte über die Robots.txt im Projekt das Durchsuchen von Unterverzeichnissen verhindern. Ist das so korrekt umgesetzt?


    # Erstellt mit Zeta Producer Desktop CMS http://www.zeta-producer.com

    # Diese Verzeichnisse/Dateien sollen nicht

    # durchsucht werden

    User-agent: *

    Disallow: /kundenprojekte_review/*

    Disallow: /kundenprojekte_review/
    User-agent: *

    Sitemap: https://www.consultoro.de/sitemap.xml


    Aktuell habe ich Unterverzeichnisse entfernt, damit Projekte nicht eingesehen werden können.


    Oder kann ich hier eine elegantere Lösung umsetzen? Passwortschutz oder ähnliches? Ich habe die Verzeichnisse nicht im Zeta-Projekt selber angelegt, sie wurden aber erfolgreich gecrawlt :wacko:


    Lieben Dank im Voraus.

  • Hallo Christine,


    dass passt bereits so, schützt aber nur vor "ehrlichen Robots", sprich bei den großen Suchmaschinen. Passwortschutz oder "deny, allow" in der .htaccess sind zwar "eleganter", aber aufwendiger zu pflegen und wenig kundenfreundlich. Wenn es aber um Seiten mit personenbezogenen Daten geht, dann mit Verweis auf Datenschutz immer die Passwort-Variante nehmen.

  • Hallo Hanabi,


    danke für die Rückmeldung. Personenbezogene Daten können dort nicht eingesehen werden, aber es sind halt Designentwürfe von Kundenseiten, die da noch nicht freigegeben im www nicht so einfach gefunden werden sollen. Ein Grund mehr regelmäßig "aufzuräumen".


    Grüße

    Christine