Hallo lieber Support,
wie kann ich eine robots.txt erstellen damit meine seite gefunden wird?
habe es bereits mit <meta name="robots" content="index,follow"> und
User-agent: *
Disallow:
User-agent: SurveyBot
Disallow: /
User-agent: WebsiteWiki
Disallow: /
User-agent: ShopWiki
Disallow: /
User-agent: Jakarta Commons-HttpClient
Disallow: /
User-Agent: AboutUsBot
Disallow: /
versucht.
Klappt alles nicht!!! 
Ich verstehe die Frage noch nicht. Ihre Seite wird doch auch ohne robots.txt gefunden. Die robots.txt kann lediglich helfen, dass bestimmte Suchmaschinen Ihre Seiten nicht indexieren.
Was wollen Sie denn erreichen und warum haben Sie die Vorgabewerte in der robots.txt verändert?
Hallo Pedro,
zunächst sollten Sie die per Hand eingetragenen Änderungen in den Attributen wieder entfernen.
In Zeta können Sie über ->Einstellungen ->Google eine robots.txt und eine sitemap.xml erstellen. Diese werden automatisch mit veröffentlicht. Wie S. Seiz schon ausgeführt hat, finden Robots ihre Seite auch ohne robots.txt und sitemap.xml. Beide Dateien erleichtern aber das Durchsuchen der Seite, da die robots.txt regelt, was alles nicht gescannt werden darf und die sitemap.xml einen Überblick über den Gesamtinhalt bietet. Die sitemap.xml können sie auch über die Google webmastertools hochladen.
Hallo Pedro,
zunächst zum Hochladen der Sitemap.xml. Gehen Sie in den Google-Webmastertools aud Crawling ->Sitemaps und dann auf den Button ->Sitemap hinzufügen/testen. Geben Sie dort den Namen Ihrer Sitemap ein und testen diese zunächst. Wenn keine Fehler festgestellt wurden, können Sie die Sitemap hinzufügen.
Kontrolldatei: Damit Sie sich Google gegenüber als Inhaber der Webseite ausweisen können, müssen Sie die von den Webmastertools bereitgestellte Kontrolldatei direkt in das Stammverzeichnis Ihrer Homepage hochladen. Diese Datei verbleibt dauerhaft dort. Nach kurzer Zeit ist Ihre Webseite dann als bestätigt markiert und Sie können mit den Webmastertools arbeiten.
sorry, aber weiter bis auf die Bestätigungsseit (wo natürlich nicht bestätigten kann) komme ich nicht...
Kommen Sie in den Webmastertools über Crawling auf Sitemap? Wenn Ja, was wird dort angezeigt? Wenn dort eine Sitemap steht, ist alles in Ordnung. Wenn nicht, können Sie die Sitemap über hinzufügen auswählen. Hierzu tragen Sie hinter der Homepageadresse nur noch Sitemap.XML ein.
Mit welchen Seiten Sie bei Google gelistet sind, erfahren Sie, wenn Sie in der Google Suche den Befehl Site://http://www.meinewebseite.de eingeben. Es werden dann alle bisher von Google erfassten Seiten ausgegeben.
Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!
