¿Eres nuevo aquí­? Te puedes suscribir a este blog ví­a RSS feed. Gracias por tu visita!

Leo en AlexSeo una estupenda explicación, perfecta de lo que es robots.txt:

Robots.txt no es un archivo inútil, es realmente útil sobre todo si utilizas algún CMS como Wordpress, sobre todo para evitar el contenido duplicado

El archivo robots.txt le indica a los robots de los buscadores, cuales páginas de tu sitio pueden agregar al buscador y cuales no. ¿Para qué hacer eso?  Primero, para evitar el contenido duplicado y segundo, debido a que a lo mejor hay ciertas páginas o carpetas de tu sitio, que no quieres que la gente las encuentre a través de un buscador.

Ahora empezemos, vamos a crear un archivo llamado Robots.txt y dentro de ese archivo, agregar lo siguiente:

sitemap: http://www.TUBLOG.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /author/

Disallow: /archives/

Disallow: /trackback/

Disallow: /feed/

User-agent: Googlebot-Image

Allow: /*

User-agent: Mediapartners-Google

Allow: /*

¿Qué es eso te preguntarás? Pues te explicaré.

http://www.TUBLOG.com/sitemap.xml, sustituye tublog.com con el link de tu blog. Esto lo que hace es indicarle a los bots de los buscadores, cual es el sitemap de tu blog.

“Disallow” se encarga es decirle a los buscadores, que no tomen en cuenta esoas páginas o carpetas.

Recuerda, el robots.txt que te acabo de mostrar es si usas Wordpress. Si no lo usas, puedes crear un robots.txt donde indiques que carpetas o archivos quieres que los buscadores no tomen encuenta agregando lo siguiente:

User-agent: *
Disallow: /carpeta/

User-agent: * significa que todos los buscadores deben seguir las instrucciones que darás a continuación

Disallow: /carpeta/ significa que no deberan indexar esa “carpeta” a los buscadores

Excelente explicación Alex, realice un copy/paste par ano alterar nada su contenido.