Bitte um richtige robots.txt Einstellungen da Bilder in Google nicht gefunden werden

  • Hallo habe meine Seite vor längererzeit auf Joomla 2.5 und Virtuemart 2,0 von Michael Media Service Essen migrieren lassen. Hat auch alles wunderbar geklappt!! Nochmal ein grosse ThÄnx an Michela.


    Aber seit der Migration findet google meine Virtuemart Produktbilder nicht.


    In google Webmastertolls bekomme ich jetzt auch folgende Statusmeldung:


    Von Robots blockiert 640 siehe Bild




    Nun habe ich diverse Beiträge über die robots.txt gefunden und anscheinend bin ich wohl nicht der Einzige der das Problem mit den Produktbildern hat.


    Aus reiner Verunsicherung habe ich nun folgende Änderung in *** meiner robots.txt gemacht und wollte fragen ob das so richtig ist:



    1. Habe ich in der robots.txt folgende Zeile entfernt Disallow: /images/


    Gelöst: Google Bildersuche - Bilder werden nicht gefunden!


    Frage zu 1: Ist das OK?



    2. Habe ich gelesen, dass man seine Sitemap in die robots.txt einbinden soll:

    Add a reference to your sitemap.xml file


    I've talked about the Sitemap XML file previously, in my post on How to get your Joomla site indexed in Google. If you have a sitemap.xml file (and you should have!), it will be good to include the following line in your robots.txt file:


    sitemap:http://www.domain.com/sitemap.xml


    Frage zu 2: Ist das korrekt, kann oder soll man das in die robots.txt einbinden



    3. Dann habe ich noch etwas gefunden und bin mir ebenfalls nicht sicher ob man das machen kann oder soll:



    Folgende zeilen in die robots.txt einbinden:


    Allow: /components/com_virtuemart/*



    4. Was spricht eigentlich dafür oder dagegen, dass man Module und Komponenten in der Robot.txt ausschließt?

    So das wars erst einmal. Über ein Feedback und viele Inputs wäre ich sehr dankbar



    Gruss
    Jamel


    *** Meine momentane robots.txt:


    # If the Joomla site is installed within a folder such as at
    # e.g. Example Domain the robots.txt file MUST be
    # moved to the site root at e.g. Example Domain
    # AND the joomla folder name MUST be prefixed to the disallowed
    # path, e.g. the Disallow rule for the /administrator/ folder
    # MUST be changed to read Disallow: /joomla/administrator/
    #
    # For more information about the robots.txt standard, see:
    # The Web Robots Pages
    #
    # For syntax checking, see:
    # Robots.txt syntax checker


    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /cli/
    Disallow: /components/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /logs/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Sitemap: SiteMap | | Alice aus dem Wunderland


    Den Sitemap Link habe ich als xml Link eingebunden

    I`m not a perfect person. I make a lot of mistakes....
    :o But still, I love those people who stay with me after knowing how I really am. :o


    Problem gelöst? Dann bitte auch die Lösung posten und Beitrag auf [gelöst] setzen.


    Im aufgerufenen Thema siehst Du oben den Satz "Dieses Thema als [GELÖST] markieren.
    Nach Anklicken wird das Thema auf gelöst gesetzt und der Satz verschwindet.

    7 Mal editiert, zuletzt von Jamel ()

  • Zu Frage 2 habe ich in Google Webmaster tools folgende Antwort gefunden



    Einreichen von XML-Sitemaps


    Sobald Sie eine XML-Sitemap in einem akzeptierten Format erstellt haben, können Sie sie mithilfe von Google Webmaster-Tools an Google übermitteln. Nur so kann Google Ihnen nützliche Status- und Statistikinformationen zur Verfügung stellen. Sie können auch den Speicherort Ihrer XML-Sitemap in Ihrer "robots.txt"-Datei angeben.


    Überprüfen Sie zunächst, ob Sie die folgenden Websites zu Ihrem Webmaster-Tools-Konto hinzugefügt und bestätigt haben:


    Die Website, auf der sich die Sitemap befindet
    Die Website(s), auf deren URLs in der Sitemap verwiesen wird



    So reichen Sie eine Sitemap ein:


    Laden Sie Ihre Sitemap (oder Ihren mRSS-Feed) auf Ihre Website hoch.
    Klicken Sie auf der Startseite der Webmaster-Tools auf die gewünschte Website.
    Klicken Sie im Menü auf der linken Seite auf Optimierung und dann auf XML-Sitemaps.
    Klicken Sie auf die Schaltfläche Sitemap hinzufügen/testen.
    Vervollständigen Sie im Textfeld den Pfad zu Ihrer XML-Sitemap. Wenn Ihre XML-Sitemap sich beispielsweise unter Example Domain befindet, geben Sie sitemap.xml ein.
    Klicken Sie auf XML-Sitemap senden.


    robots.txt-Datei verwenden


    Sie können Google und anderen Suchmaschinen Informationen zu Ihrer XML-Sitemap liefern, indem Sie Ihrer "robots.txt"-Datei die folgende Zeile hinzufügen. Ersetzen Sie dazu die Beispiel-URL mit dem vollständigen Pfad zu Ihrer eigenen XML-Sitemap:


    Sitemap: Example Domain


    Diese Anweisung ist nicht von der Zeile "user-agent" abhängig, daher können Sie sie an einer beliebigen Stelle in die Datei einfügen. Wenn Sie eine Sitemap-Indexdatei verwenden, können Sie einfach den Speicherort der Datei angeben. So müssen Sie nicht jede Sitemap einzeln aufführen.
    Erneutes Einreichen von XML-Sitemaps


    Falls Sie Änderungen an Ihrer Sitemap vornehmen, können Sie sie erneut einreichen. Melden Sie sich hierzu in Ihrem Konto für Google Webmaster-Tools an oder senden Sie eine HTTP-Anforderung.


    Mit den Webmaster-Tools


    Klicken Sie auf der Startseite von Webmaster-Tools auf die gewünschte Website.
    Klicken Sie unter Optimierung auf XML-Sitemaps.
    Wählen Sie die Sitemap(s) aus, die Sie erneut einreichen möchten, und klicken Sie dann auf XML-Sitemap erneut einreichen.


    Mit einer HTTP-Anforderung


    In diesem Fall müssen Sie die Sitemap nicht nochmals mithilfe der Webmaster-Tools einreichen. In der Spalte Eingereicht wird weiterhin angegeben, wann Sie zuletzt manuell auf den Link geklickt haben.


    Senden Sie die Anforderung an folgende URL:


    http://www.google.com/webmaste…/ping?sitemap=sitemap_url


    Beispiel: Befindet sich die XML-Sitemap unter Example Domain, so lautet die URL:


    http://www.google.com/webmaste…ww.example.com/sitemap.gz


    URL-codieren Sie den gesamten Teil ab /ping?sitemap=:


    Google Webmaster Tools - Sitemap Notification Received


    Senden Sie die HTTP-Anforderung mit wget, curl oder einer anderen Methode Ihrer Wahl.


    Bei erfolgreicher Ausführung der Anforderung wird der HTTP-Antwortcode 200 zurückgegeben. Falls Sie eine andere Antwort erhalten, sollten Sie die Anforderung nochmals einreichen. Der HTTP-Antwortcode 200 gibt lediglich an, dass Google die XML-Sitemap erhalten hat. Er besagt nicht, dass die XML-Sitemap oder die in ihr enthaltenen URLs gültig sind. Um Statusinformationen über Ihre XML-Sitemap zu erhalten, reichen Sie sie über Ihr Konto für Webmaster-Tools nochmals ein. Wir empfehlen Ihnen, eine XML-Sitemap nicht öfter als einmal pro Stunde einzureichen.


    Hinweis: Wenn Sie eine XML-Sitemap-Indexdatei einreichen, müssen Sie lediglich eine einzige HTTP-Anfrage unter Angabe des Speicherorts der XML-Sitemap-Indexdatei absenden. Es ist nicht notwendig, für jede im Index aufgeführte XML-Sitemap eine eigene Anfrage zu senden.

    I`m not a perfect person. I make a lot of mistakes....
    :o But still, I love those people who stay with me after knowing how I really am. :o


    Problem gelöst? Dann bitte auch die Lösung posten und Beitrag auf [gelöst] setzen.


    Im aufgerufenen Thema siehst Du oben den Satz "Dieses Thema als [GELÖST] markieren.
    Nach Anklicken wird das Thema auf gelöst gesetzt und der Satz verschwindet.

  • Desweitern habe ich folgende Informationen erhalten:


    1) Ja, wenn Bilder, die sich in irgendeinem Ordner /images/ befinden gecrawlt werden sollen können.
    3) Nein, nicht standardkonform. "Allow" und "*" für Pfade gibt es in sauberen robots.txt nicht.
    2) Nein, nicht standardkonform. Reiche bei Google-Webmastertools die Sitemap ein.
    4) Das Joomla-robots.txt gibt dir die "zu sperrenden" Ordner vor. Sind schon richtig so. Da gibt es im Normalfall nichts zu crawlen, was für Suchmaschinen relevant wäre. Vermüllt dir nur deine Suchergebnisse.


    Gruss Jamel

    I`m not a perfect person. I make a lot of mistakes....
    :o But still, I love those people who stay with me after knowing how I really am. :o


    Problem gelöst? Dann bitte auch die Lösung posten und Beitrag auf [gelöst] setzen.


    Im aufgerufenen Thema siehst Du oben den Satz "Dieses Thema als [GELÖST] markieren.
    Nach Anklicken wird das Thema auf gelöst gesetzt und der Satz verschwindet.