Free tools

Robots.txt Examples

Robots.txt file content for idealo.de.

Robot.txt file for: idealo.de

      User-agent: bingbot
Disallow: /preisvergleich/CompareProducts/
Disallow: /preisvergleich/Datasheet/
Disallow: /preisvergleich/FehlerMelden/
Disallow: /preisvergleich/Katalog/*oC*
Disallow: /preisvergleich/Katalog/*oA*
Disallow: /preisvergleich/KatalogFiltern/
Disallow: /preisvergleich/Liste/*oC*
Disallow: /preisvergleich/Liste/*oK*
Disallow: /preisvergleich/MainSearchProductCategory/
Disallow: /preisvergleich/MainSearchProductCategory.html
Disallow: /preisvergleich/PPTDescription/
Disallow: /preisvergleich/ProductCategoryFilters/*-*
Disallow: /preisvergleich/ProductCategory/*-*-*
Disallow: /preisvergleich/ProductCategory/*?q=*
Disallow: /preisvergleich/ProductCategory/*?p=*
Disallow: /preisvergleich/ProductCategory/*&q=*
Disallow: /preisvergleich/ProductCategory/*?qd=*
Disallow: /preisvergleich/ProductCategory/*&qd=*
Disallow: /preisvergleich/ProductCategory/*&p=*
Disallow: /preisvergleich/ProductCategory/*?sortKey=*
Disallow: /preisvergleich/ProductCategory/*&sortKey=*
Disallow: /preisvergleich/ProductCategoryFilters/
Disallow: /preisvergleich/RatingAsStarsTest/
Disallow: /preisvergleich/Relocate/
Disallow: /preisvergleich/ShopRatingBoilerPlates/
Disallow: /preisvergleich/ShortProductAttributes/
Disallow: /preisvergleich/sp/
Disallow: /preisvergleich/TypFilter/
Disallow: /mvc/
Disallow: /ipc/
Disallow: /storage/ipc/
Disallow: /product-availability/
Disallow: /overlay/sustainability/
Disallow: /fragment/internationalprices/products/
Disallow: /preisvergleich/priceChartApi/
Disallow: /priceChartApi/
Disallow: /preisvergleich/merkzettel
Disallow: /preisvergleich/ShopRatingForm/
Disallow: /preisvergleich/UserMailing/
Disallow: /preisvergleich/ShopSuche.html
Disallow: /preisvergleich/sp.html?ts=*
Disallow: /wishlist/
Disallow: /productpage/
Disallow: /offerpage/
Disallow: /*cobi_ratgeber*
Disallow: /disco/
Disallow: /cn/
Disallow: /csr/
Disallow: /logClientInfoV2
Disallow: /relocator/
Disallow: /product-information/v2/
Disallow: /notification-center-plugin/
Disallow: /shop-reviews/
Disallow: /.well-known/
Disallow: /service/products*
Disallow: /wish-lists/
Disallow: /shop-data/
Disallow: /hp/
Disallow: /price-chart/

User-agent: CCBot
Disallow: /
Allow: /unternehmen
Allow: /legal/

User-agent: Google-Extended
Disallow: /
Allow: /unternehmen
Allow: /legal/

User-agent: anthropic-ai
Disallow: /
Allow: /unternehmen
Allow: /legal/

User-agent: omgilibot
Disallow: /
Allow: /unternehmen
Allow: /legal/

User-agent: omgili
Disallow: /
Allow: /unternehmen
Allow: /legal/

User-agent: Applebot-Extended
Disallow: /
Allow: /unternehmen
Allow: /legal/

User-agent: *
Disallow: /preisvergleich/CompareProducts/
Disallow: /CompareProducts/
Disallow: /preisvergleich/Datasheet/
Disallow: /preisvergleich/FehlerMelden/
Disallow: /preisvergleich/KatalogFiltern/
Disallow: /preisvergleich/Liste/*oC*
Disallow: /preisvergleich/Liste/*oK*
Disallow: /preisvergleich/MainSearchProductCategory/
Disallow: /preisvergleich/MainSearchProductCategory.html
Disallow: /preisvergleich/ProductCategoryFilters/*-*
Disallow: /preisvergleich/ProductCategory/*-*-*
Disallow: /preisvergleich/ProductCategory/*oC*
Disallow: /preisvergleich/ProductCategory/*oK*
Disallow: /preisvergleich/ProductCategory/*oA*
Disallow: /preisvergleich/ProductCategory/*oM*
Disallow: /preisvergleich/ProductCategory/*oE*
Disallow: /preisvergleich/ProductCategory/*?q=*
Disallow: /preisvergleich/ProductCategory/*&q=*
Disallow: /preisvergleich/ProductCategory/*?qd=*
Disallow: /preisvergleich/ProductCategory/*&qd=*
Disallow: /preisvergleich/ProductCategory/*&p=*
Disallow: /preisvergleich/ProductCategory/*?p=*
Disallow: /preisvergleich/ProductCategory/*?sortKey=*
Disallow: /preisvergleich/ProductCategory/*&sortKey=*
Disallow: /preisvergleich/ProductCategoryFilters/*oA*
Disallow: /preisvergleich/PPTDescription/
Disallow: /preisvergleich/RatingAsStarsTest/
Disallow: /preisvergleich/Relocate/
Disallow: /preisvergleich/ShopRatingBoilerPlates/
Disallow: /preisvergleich/ShopRatingBoilerPlatesTest/
Disallow: /preisvergleich/ShortProductAttributes/
Disallow: /preisvergleich/sp/
Disallow: /preisvergleich/TypFilter/
Disallow: /preisvergleich/ZumShopOS/
Disallow: /preisvergleich/ipc/
Disallow: /ipc/
Disallow: /storage/ipc/
Disallow: /product-availability/
Disallow: /overlay/sustainability/
Disallow: /mvc/
Disallow: /fragment/internationalprices/products/
Disallow: /preisvergleich/priceChartApi/
Disallow: /priceChartApi/
Disallow: /preisvergleich/merkzettel
Disallow: /preisvergleich/ShopRatingForm/
Disallow: /preisvergleich/UserMailing/
Disallow: /preisvergleich/ShopSuche.html
Disallow: /preisvergleich/sp.html?ts=*
Disallow: /wishlist/
Disallow: /productpage/
Disallow: /offerpage/
Disallow: /*cobi_ratgeber*
Disallow: /disco/
Disallow: /cn/
Disallow: /csr/
Disallow: /logClientInfoV2
Disallow: /relocator/
Disallow: /product-information/v2/
Disallow: /notification-center-plugin/
Disallow: /shop-reviews/
Disallow: /.well-known/
Disallow: /service/products*
Disallow: /wish-lists/
Disallow: /shop-data/
Disallow: /hp/
Disallow: /price-chart/