Free tools

Robots.txt Examples

Robots.txt file content for tsn.ua.

Robot.txt file for: tsn.ua

      User-agent: *
Disallow: /pda
Disallow: /offline
Disallow: /article/print
Disallow: */search
Disallow: */bin/player/*
Disallow: /tags/*?*date
Disallow: /tags/*/*20*
Disallow: *day=*
Disallow: *month=*
Disallow: *year=*
Disallow: *sort=*
Disallow: *period=*
Disallow: /authors/*?date*
Disallow: *more=*
Disallow: *slice=*
Disallow: /special-projects/

Allow: /ads.txt

Sitemap: https://tsn.ua/sitemap.xml
Sitemap: https://tsn.ua/sitemap_ru_categories.xml
Sitemap: https://tsn.ua/sitemap_uk_categories.xml
Sitemap: https://tsn.ua/sitemap_index.xml
Sitemap: https://tsn.ua/ru/sitemap_index.xml
Sitemap: https://tsn.ua/sitemap/google_news_ru.xml
Sitemap: https://tsn.ua/sitemap/google_news_uk.xml
Sitemap: https://tsn.ua/ru/sitemap_keywords.xml
Sitemap: https://tsn.ua/sitemap_keywords.xml
Sitemap: https://tsn.ua/sitemap_video_news.xml
Sitemap: https://tsn.ua/ru/sitemap_video_news.xml