Free tools

Robots.txt Examples

Robots.txt file content for niche.com.

Robot.txt file for: niche.com

      #
# Welcome to Niche
#
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNWXK0OkxxxxxxxxkkOKXNWNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNWN0kdocclloddxxxxxddoolcloxOKNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNWXOdlcldk0KXNWNNNNNNNNNWWNK0kdlclx0NNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNN0dccokKNWNNNNNNNNNNNNNNNNNNNNNWN0xl:lxKWNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNOl:lxKWNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN0dccd0WNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNW0o:ckXWNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNWKxc:dXNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNkc:dXWNNNNNNXWNNNNNNNNNNNNNNNNNNNNNWNWNNNNNWKo:l0WNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNXd:cOWNNNNNNXdcoONNNNNNNNNNNNNNNNNNNNxcxNNNNNNNNkc:kNNNNNNNNNNNNNNN
#NNNNNNNNNNNNXd;l0WNNNNNNNKl;;:dKWNNNNNNNNNNNNNNNNXo;lKNNNNNNNWOc:kNNNNNNNNNNNNNN
#NNNNNNNNNNNNx;cOWNNNNNNNNKl;:c:cxXNNNNNNNNNNNNNNNXo;lKNNNNNNNNWk::OWNNNNNNNNNNNN
#NNNNNNNNNNWO::kWNNNNNNNNNKl;oOd:;lONNNNNNNNNNNNNNXo;lKNNNNNNNNNNd;lKNNNNNNNNNNNN
#NNNNNNNNNNXo;lKNNNNNNNNNNKl;dXN0o::o0WNNNNNNNNNNNXo;lKNNNNNNNNNN0c;kWNNNNNNNNNNN
#NNNNNNNNNN0c;xWNNNNNNNNNNKl;oXNNNkl;cxXWNNNNNNNNNXo;lKNNNNNNNNNNNd;oXNNNNNNNNNNN
#NNNNNNNNNWO::ONNNNNNNNNNNKl;oXNNNWXxc;lkKNNNNNNNNXo;lKNNNNNNNNNNWx;c0NNNNNNNNNNN
#NNNNNNNNNWk::0NNNNNNNNNNNKl;oXNNNNNW0o:::o0WNNNNNXo;lKNNNNNNNNNNWk;c0NNNNNNNNNNN
#NNNNNNNNNNO::ONNNNNNNNNNNKl;oXNNNNNNNNOl:;:dKWNNNXo;lKNNNNNNNNNNWx;lKNNNNNNNNNNN
#NNNNNNNNNNKc;xWNNNNNNNNNNKl;oXNNNNNNNNNX0xc;ckNNNXo;lKNNNNNNNNNNXo;oXNNNNNNNNNNN
#NNNNNNNNNNNd;lKNNNNNNNNNNKl;oXNNNNNNNNNNNWKd::lONXo;lKNNNNNNNNNWO::kWNNNNNNNNNNN
#NNNNNNNNNNN0c;xNNNNNNNNNNKl;oXNNNNNNNNNNNNNNOl;:dOo;lKNNNNNNNNNXo;oXNNNNNNNNNNNN
#NNNNNNNNNNNWk::OWNNNNNNNNKl;oXNNNNNNNNNNNNNNNXkc;::;lKNNNNNNNNNx;c0NNNNNNNNNNNNN
#NNNNNNNNNNNNNx:cOWNNNNNNNKl;oXNNNNNNNNNNNNNNNNWKd:;;lKNNNNNNNNx:cOWNNNNNNNNNNNNN
#NNNNNNNNNNNNNNk::xNNNNNNNXdckNNNNNNNNNNNNNNNNNNNW0ocxNNNNNNWKd:cOWNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNW0l:o0WNNNNNWNWNNNNNNNNNNNNNNNNNNNNNWNWNNNNNNOl:oKWNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNXxc:dKWNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNOo:lONNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNWKxc:oONWNNNNNNNNNNNNNNNNNNNNNNNNNNNWXkl:lkXWNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNWXkocldOXWNNNNNNNNNNNNNNNNNNNNWNKkoccdONNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNWKkdlcldk0KXNNWWWWWWWNXXKOxdlcldOXWNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNWX0OxolllllooooooollllodxOKNWNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNWNXKK0OOOOOO00KXNWWNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#
# We dig it when people read our code! Check out the jobs while you're here.
# https://www.niche.com/about/jobs/
#
# Or check out our YouTube channel for our latest
# https://www.youtube.com/@Nichesocial/videos
#
# Last updated 16 Aug 2023 by SMR

sitemap: https://www.niche.com/sitemap/index.xml

User-agent: *

# API Delivered Content
Disallow: /api/
Disallow: /website-api/

# Account Pages
Disallow: /account/

# Survey Pages
Disallow: /*/survey/start/

User-agent: Yandex
Crawl-delay: 3.6

User-agent: Cliqzbot
Crawl-delay: 3.6