Free tools

Robots.txt Examples

Robots.txt file content for meinestadt.de.

Robot.txt file for: meinestadt.de

      User-Agent: *
Disallow: /*marktjagd_pageflip.html*
Disallow: /site/meinestadt/marktjagdTracking
Disallow: /jobs-files/
Disallow: /coop/
Disallow: /mail/
Disallow: /deutschland/kontaktanzeige/singleboersen-vergleich/portale
Disallow: /deutschland/kontaktanzeige/singleboersen-vergleich/ergebnis
Disallow: /deutschland/kontaktanzeige/singleboersen-vergleich/wizard
disallow: /unternehmen/b2b/werbemoeglichkeiten/*
Disallow: /classification
Disallow: /site/meinestadt/resourceCached/*/htdocs/js/src/leSpecial.js
Disallow: /*/ba-preview?id=
Disallow: /*/mail/
Disallow: /*/newsletter/
Disallow: /*?*redirectUrl
Disallow: /imags
Disallow: /imagez
Disallow: /.well-known
Disallow: /*/kampagne
Disallow: /beschwerde
Allow: /jobs-files/sitemap/

User-Agent: thesubot
Disallow: /

User-agent: ACONTBOT
Disallow: /

User-Agent: MAINSEEK_BOT
Disallow: /

User-Agent: Cliqzbot
Disallow: /

User-agent: bingbot
Crawl-delay: 1

Sitemap: https://www.meinestadt.de/sitemaps/talenthero-301.xml
Sitemap: https://aktuell.meinestadt.de/sitemaps/news_sitemap_index.xml
Sitemap: https://www.meinestadt.de/sitemaps/berufsbilder-magazin-lehrstellen.xml
Sitemap: https://www.meinestadt.de/sitemaps/immobilien-magazin-themen.xml
Sitemap: https://www.meinestadt.de/sitemaps/index-sitemap-immo.xml
Sitemap: https://www.meinestadt.de/sitemaps/lehrstellen-stadt-start.xml
Sitemap: https://www.meinestadt.de/sitemaps/dating-index-sitemap.xml
Sitemap: https://www.meinestadt.de/sitemaps/strassen-deutschland-alle-index.xml
Sitemap: https://www.meinestadt.de/sitemaps/biowetter-stadt.xml
Sitemap: https://www.meinestadt.de/sitemaps/wetter-unwetter-regenradar-stadt.xml
Sitemap: https://www.meinestadt.de/sitemaps/wetter-vorhersage-stadt-301.xml