User-agent: *                Indicamos que estas reglas son aplicables a todos los buscadores
Disallow: /cgi-bin/         Indicamos que no indexen programas que pudiese haber en cgi-bin
Disallow: /wp-admin/    Indicamos que no indexen la carpeta de administración
Disallow: /wp-includes/   Indicamos que no indexen las librerías que utiliza WordPress

Disallow: /wp-content/plugins/   Indicamos que no indexen los plugins, que pueden contener html en ellos
Disallow: /wp-content/cache/      Indicamos que no indexen la caché
Disallow: /wp-content/themes/   Indicamos que no indexen los temas instalados