www.Redirect für Robots txt Datei ist fehlerhaft

Hallo Ray,

auf alle Fälle fehlt schon mal

User-agent: *

vor den beiden Disfollows.

Hallo Ray,

gegenwärtig ist unter http://www.responsive-styles.de/robots.txt gar keine robots.txt zu finden. Falls das Redirect-Problem trotzdem noch auftaucht, poste mal Deine .htaccess als Code (</>), damit man sich das mal ansehen kann.

Grundsätzlich zur robots.txt: Sie beginnt mit einem Useragent in Zeile 1 und fortlaufendem Disallow: Nachfolgend ein Beispiel:

User-Agent: MJ12Bot
Disallow: /
User-Agent: EmailWolf
Disallow: /
User-Agent: *
Disallow: /seite-nicht-gefunden.html
Disallow: /nachricht-erfolgreich-versendet.html
Disallow: /media/images/thumbnails/int
Disallow: /media/images/int
User-agent: *
Sitemap: http://www.meine-seite.de/sitemap.xml

Bots, die komplett gesperrt werden sollen, müssen jeweils einzeln als Agent mit der kompletten Sperrung aufgerufen werden. (Zeile 1 bis 4, Zeilennummern bei Übernahme weglassen)
Zeile 5 definiert den Beginn einer allgemeinen Anweisung für alle Bots
Zeilen 6 und 7 enthalten Seiten, deren Auftauchen in den Suchergebnissen nicht sinnvoll ist, hierzu gehören unter anderem alle Systemseiten sowie Seiten mit einem geschützten Bereich.
Wenn innerhalb geschützter Bereiche Fotos verwendet werden, die nicht für die Öffentlichkeit bestimmt sind, kann das Crawlen dieser mit den Zeilen 8 und 9 ausgeschlossen werden. Wichtig: Die Fotos müssen dann im Dateinamen mit "int***" beginnen.
Zeile 10 leitet wieder eine Anweisung für alle Robots ein
Zeile 11 sagt den Robots, wo sich die Sitemap.xml befindet, welche alle Seiten der Homepage auflistet mit Datum der letzten Änderung und Gültigkeitsdauer (Standard 7 Tage); Wichtig: Seiten, die nicht gecrawlt werden sollen, dürfen auch kein Häkchen bei den Google-Eigenschaften "Sitemap" haben.

Hallo Ray,

im Post 1 hast Du geschrieben, dass Du die Umleitung mit und ohne www neu eingerichtet hast. Entweder hast Du das manuell über die .htaccess gemacht und dann auf Deinen Server geladen oder (nur in seltenen Fällen möglich) über das Menü bei Deinem Provider. Da Du bei ".htaccess" gerade sprichwörtlich mit den Ohren schlackerst, vermute ich eher die zweite Variante. In diesem Falle verbinde dich über Filezilla mit dem Server. Im Root-Verzeichnis solltest Du dann eine .htaccess finden. Lade diese herunter, öffne sie mit einem Texteditor (Notepad+ oder Editor, nicht mit Word) und kopiere den Inhalt. Hier im Forum nutzt Du dann die Schaltfläche
"</>" ganz rechts im Menü, um den Code einzufügen. Hilfreich wäre auch, deinen Provider zu kennen.

Hallo Ray,

ich habe mal Deinen Beitrag bearbeitet und von Spoiler auf Quelltext umgestellt.

Zeile 1 geht in Ordnung, hier wird das Fehlerdokument zugewiesen, wenn eine Datei nicht gefunden wird.
Zeile 2 stellt sicher, dass das Modul "mode_rewrite" geladen wird
Zeile 3 Startet das Umleitungsmodul
Zeile 4 habe ich bewusst als Leerzeile eingefügt, siehe unten
Zeile 5 schließt den Block "mode_rewrite" wieder ab.

Es fehlt in Zeile 4 eine Anweisung, was denn nun wie umgeleitet werden soll. Die Zeile 2 bis 5 bewirken so gar nichts.

Du kannst mit einer # am Zeilenbeginn die Zeilen 2 bis 5 deaktivieren, lade dann die .htaccess wieder hoch und teste erneut. Bitte prüfe auch mal in Zeta, ob Du unter ->"Erweitert", ->"erweiterte Einstellungen" das "URL-Rewrite" aktiviert hast. Damit würde nämlich automatisch eine .htaccess generiert und auch veröffentlicht, die Seiten, bei denen Du den Dateinamen geändert hast, auf den neuen Dateinamen umgeleitet werden. Wenn Du bisher keine Dateinamen umbenannt hast, könnte aus diesem Grunde die Zeile 4 leer sein.

Bitte schreibe auch noch mal dazu, wie Du serverseitig im Umleitung www eingerichtet hast.

Hallo Ray,

das mit der Aktivierung des "URL-Rewrite" war jetzt kein Tip, sondern nur eine Anfrage zur Fehlereingrenzung. Sorry, falls ich mich dort unklar ausgedrückt habe. Ich selbst bin kein Freund von "Automatismen", habe daher das Rewrite in Zeta deaktiviert und nutze auch kaum Einstellungen des Providers für Weiterleitungen. Deine .htaccess wurde durch die Aktivierung der www Weiterleitung beim Provider erstellt. Ich habe die Routine mal probeweise in test.hanabi-pirna.de eingestellt, bei Prüfung mit nibbler wird dort aber weiterhin das duplicate-content-problem mit und ohne www als Fehler aufgelistet. Ich würde folgende Schritte (nacheinander) vorschlagen:
1. deaktiviere den Rewrite in Zeta, um künftige automatische Änderungen auszuschließen
2. lösche die Weiterleitungen im Control-Center des Providers und danach über Filezilla auch die .htaccess
3. lese meinen Blogbeitrag zur .htaccess (siehe Signatur) und setze die Empfehlungen Schritt für Schritt um.

Das wichtigste Zeichen in der .htaccess ist die "#", mit dieser am Zeilenanfang wird aus dem Befehl ein Kommentar. Über die .htaccess kannst du nahezu alles machen, besonders leicht ist es damit aber auch, die eigene Seite durch einen Tippfehler abzuschießen. Deshalb immer nur einen Schritt umsetzen, kontrollieren, danach weitermachen.

Willkommen in den Mühen der Ebene

Hallo Ray,

Dann beiße dich mal nicht an diesem einen Tool fest. Bei https://community.zeta-producer.com/www.nibbler-silktide.com kommen im Test beim Server keine Probleme. Ich nutze mehrere Tools zur Überprüfung und teilweise widersprechen sich die Ergebnisse sogar. Letztlich kommt nach meiner Erfahrung der Erfolg nur über den Inhalt. DC, Weiterleitungen und eine vernünftige Überschriftenstruktur sind zwar nützliches Beiwerk, Fakt ist aber, Google ist eine Suchmaschine nach Begriffen, je mehr Wörter ich auf der Seite habe, um so höher ist die Wahrscheinlichkeit, dass sich darunter ein Begriff befindet, der gerade bei Google gesucht wird. Aktuell bieten wir in der Summe aller Seiten für Google rund 30.000 Wörter an, bei denen Google einen Treffer landen kann.