Robots.txt for focus.de

        # robots.txt for https://www.focus.de .
# Gibt an, welche Unterverzeichnisse nicht durch Crawler durchsucht werden sollen

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /g00/
Disallow: *.pdf
Disallow: /ERRORS/    # Fehler-Seiten
Disallow: /test/      # Test-Seiten
Disallow: /test1/     # Test-Seiten
Disallow: /test2/     # Test-Seiten
Disallow: /test3/     # Test-Seiten
Disallow: /test4/     # Test-Seiten
Disallow: /test5/     # Test-Seiten
Disallow: /test6/     # Test-Seiten
Disallow: /Test/      # Test-Seiten
Disallow: /cgi-bin/   # Scripts
Disallow: /GLOBPICS/  # allg. Grafiken
Disallow: /intern/service/suche/    # Sucheergebnisse raus
Disallow: /service/suche/    		# Sucheergebnisse raus
Disallow: /service/archiv/ 			# Sucheergebnisse raus
Disallow: /suche/    				# Sucheergebnisse raus
Disallow: /panorama/welt/playboy_aid_119773.html
Disallow: /mylife    # Mylife-Koop als eigenes Ressort
Disallow: /*?omiid
Disallow: /fol/XML/video/vpl    # Video-Playlisten ausschliessen
Disallow: /*?surveyItem
Disallow: /*autoren?id=70$
Disallow: /*autoren?id=70&
Disallow: /schlagwoerter/personen/k/norbert-klein/
Disallow: /*?snr
Disallow: /*_aid_656913.html
Disallow: /finanzen/news/bilanzen-trickser-in-nadelstreifen_aid_205744.html
Disallow: /ajax/
Disallow: /abnahme/
Disallow: /widget/
#Disallow: /incoming/
Disallow: /stats/
#Disallow: /*.ece*
Disallow: /testcases/
Disallow: /config/
Disallow: /*?view=ajax
Disallow: /*&view=ajax
Disallow: /*?view=json
Disallow: /*&view=json
Disallow: /apple-app-site-association
Disallow: /archiv/regional/
Disallow: /regional/lokale-meldungen/
Disallow: /src/js/spmsg*
Disallow: /*_id_86231824.html


# Block MegaIndex.ru crawler
User-agent: MegaIndex.ru
Disallow: /

# Block trendkite-akashic-crawler
User-agent: trendkite-akashic-crawler
Disallow: /

# GPTBot - OpenAI
User-agent: GPTBot
Disallow: /

# ChatGPT - OpenAI
User-agent: ChatGPT-User
Disallow: /

# Common Crawl
User-agent: CCBot
Disallow: /

User-agent: Applebot
Allow: /apple-app-site-association