robots.txt syntax

Dieses Thema im Forum "Hosting & Server" wurde erstellt von Romka, 30. August 2013 .

Schlagworte:
  1. Diese Seite verwendet Cookies. Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies. Weitere Informationen
  1. #1 30. August 2013
    Zuletzt bearbeitet: 30. August 2013
    Ich habe momentan das Problem das einige Artikel im Google Shopping nicht angenommen werden weil scheinbar der Google Image Bot die Bilder nicht crawlen kann. Das komische ist das es bei 50% funktioniert und bei den restlichen Artikeln nicht. Dabei liegen alle Artikelbilder in einem Verzeichnis. (/media/img/product_img/img_big/)

    Da mein Unternehmen unbedingt eine Hosted Lösung nehmen wollte habe ich jetzt direkt keinen Zugriff auf die robots.txt. Der Anbieter meint es ist alles in Ordnung. Aber mir kommt das ganze etwas komisch vor.

    Die robots.txt sieht so aus:

    Code:
    User-agent: *
    Allow: /
    Disallow: /ajaxViews/
    Disallow: /components/
    Disallow: /designs/
    Disallow: /media/
    Disallow: /scripts/
    Disallow: /templates/
    
    User-agent: Googlebot
    Allow: /
    Disallow: /ajaxViews/
    Disallow: /components/
    Disallow: /designs/
    Disallow: /scripts/
    Disallow: /templates/
    Disallow: /media/flash/
    Disallow: /media/pdf/
    Disallow: /media/product_export/
    Disallow: /media/video/
    
    User-agent: Googlebot-image
    Allow: /
    Disallow: /ajaxViews/
    Disallow: /components/
    Disallow: /designs/
    Disallow: /scripts/
    Disallow: /templates/
    Disallow: /media/flash/
    Disallow: /media/pdf/
    Disallow: /media/product_export/
    Disallow: /media/video/
    
    Sitemap: https://www.********.de/sitemap.xml
    Zu meinen Fragen:

    1. Ist das Allow: / nicht total überflüßig? Ich dachte immer das mit der robots.txt nur Verzeichnisse ausgeschlossen werden und nicht explizit auf erlaubt einegstellt werden können.
    2. Kann es sein das Google Probleme wegen folgender Zeile hat?
    Code:
    User-agent: [B][COLOR="Red"]*[/COLOR][/B]
    Allow: /
    Disallow: /ajaxViews/
    Disallow: /components/
    Disallow: /designs/
    [B][COLOR="Red"]Disallow: /media/[/COLOR][/B]
    Disallow: /scripts/
    Disallow: /templates/
    3. Weiter unten wird explizit nochmal auf die Google Bots eingegangen. Dort wird das benötigte Verzeichniss auch nicht gesperrt, sondern nur die wo der Bot auch nichts zu suchen hat. Aber wird durch das "*" oben nicht bereits der gesamte Bildordner für ALLE Crawler geblockt? Geht der Crawler vllt von oben nach unten durch?

    Wäre nett wenn jemand helfen kann. BW ist natürlich wie immer drin. :thumbsup:
     

  2. Anzeige

  3. Videos zum Thema
Die Seite wird geladen...
Similar Threads - robots txt syntax
  1. Antworten:
    2
    Aufrufe:
    280
  2. Weißes Haus Robots.txt

    LilRomeo , 22. Oktober 2008 , im Forum: Webentwicklung
    Antworten:
    4
    Aufrufe:
    397
  3. Zombies vs. Robots

    Night Lord , 23. Februar 2011 , im Forum: Kino, Filme, Tv
    Antworten:
    7
    Aufrufe:
    519
  4. Antworten:
    2
    Aufrufe:
    501
  5. Microbots "fantastische Reise"

    drstraleman , 29. Januar 2009 , im Forum: Netzwelt
    Antworten:
    7
    Aufrufe:
    476