Free tools
Robots.txt Examples
Robots.txt file content for tsn.ua.
Robot.txt file for: tsn.ua
User-agent: * Disallow: /pda Disallow: /offline Disallow: /article/print Disallow: */search Disallow: */bin/player/* Disallow: /tags/*?*date Disallow: /tags/*/*20* Disallow: *day=* Disallow: *month=* Disallow: *year=* Disallow: *sort=* Disallow: *period=* Disallow: /authors/*?date* Disallow: *more=* Disallow: *slice=* Disallow: /special-projects/ Allow: /ads.txt Sitemap: https://tsn.ua/sitemap.xml Sitemap: https://tsn.ua/sitemap_ru_categories.xml Sitemap: https://tsn.ua/sitemap_uk_categories.xml Sitemap: https://tsn.ua/sitemap_index.xml Sitemap: https://tsn.ua/ru/sitemap_index.xml Sitemap: https://tsn.ua/sitemap/google_news_ru.xml Sitemap: https://tsn.ua/sitemap/google_news_uk.xml Sitemap: https://tsn.ua/ru/sitemap_keywords.xml Sitemap: https://tsn.ua/sitemap_keywords.xml Sitemap: https://tsn.ua/sitemap_video_news.xml Sitemap: https://tsn.ua/ru/sitemap_video_news.xml