# Grant Robots Access
#######################################################################################

# This example allows all robots to visit all files because the wildcard "*" specifies all robots:
User-agent: *
Disallow:

# Deny Robots Access
#######################################################################################
# The next is an example that tells all crawlers not to enter into four directories of a website:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/