Diseño web Joomla
Si tiene un proyecto para internet, sepa que desde Diseño web Joomla realizo diseño web, web movil vea el portafolio web y la pagina de e-commerce.
Tambien puede consultar la web optimizada para telefono movil: diseño web, web movil
webmovil.net
Blog sobre web movil, incluye manuales sobre las extensiones aptas para Joomla movil y Wordpress movil
Manual plugins Joomla
Ultimos comentarios
Manuales Css y Templates Joomla
Manuales Posicionamiento web
Manuales sobre servidores
Manuales Temas Diversos
Búsqueda general
Login
Recordarme

Robots.txt: User-agent y Disallow

Imprimir Visitas: 4260
Posicionamiento web
Viernes, 08 de Enero de 2010 15:45

Tema relacionado:

Sitemap
 
El fichero robots.txt se coloca en la root de nuestra web y sirve para dar instrucciones e informacion a los robots (o bot o spider que es lo mismo) de los motores de busqueda y es util para acelerar el posicionamiento en buscadores de nuestras paginas. És el primer archivo de todo tu sitio que buscan los robots principales (aunque hay algunos robots que no le hacen caso) las indicaciones se dan por medio de las siguientes instrucciones:

User-agent

Con esta instrucción señalas los robots a los que va dirigido el mensaje disallow, puedes dirigirla a todos y lo indicarás con *, o solo a uno

Nominales de algunos robots:
Altavista --> scooter
Euroseek --> arachnoidea
Fast / Alltheweb --> fast
Google --> googlebot
MSN Search --> msnbot
Yahoo! search --> Yahoobot, slurp


 

Disallow

Esta instrucción indica al (los) robot especificado con la instrucción anterior las carpetas y páginas que no debe indexar, el paquete de instalación de Joomla ya viene dotado de origen de un buen fichero robots.txt que indica a los bot que disallowen (no metan las narices en) las siguientes carpetas: administrator, cache, components, images, includes, installation, language, libraries, media, modules, plugins, templates, tmp y xmlrpc, osea todas las del backend

Algunos ejemplos:
User-agent: *
Disallow:
Indicas a todos los robots que no dejen de indexar nada, osea que pueden indexarlo todo

User-agent: googlebot
Disallow: /administrator/cache/
Informas al robot de Google que no tenga en cuenta la carpeta cache de la carpeta administrator

User-agent: Yahoobot
Disallow: /posicionamiento-web/robotstxt-user-agent-y-disallow.html
Señalas al robot de Yahoo que se olvide de esta página porque el pobre ya se sabe de memoria el contenido

Sitemap

Para acelerar la mejora del posicionamiento web de nuestro sitio, podemos (y debemos) aprovechar el fichero robot.txt para indicarle a los motores de búsqueda donde está el mapa del sitio de nuestra web y también los de los subdominios, esto se consigue añadiendo la siguiente instrucción tantas veces como mapas haya en el sitio:
Sitemap: urldelsitemap
Los sitemap normalmente se confeccionan con ficheros xml, ahora bien podéis hacer servir tambien ficheros de rss (que tambien son xml) y de texto (.txt) basta que pongáis las direcciones de todas las páginas del sitio que queráis que aparezcan en los buscadores.
 

Comentarios  

 
#1 ¿muchas gracias ?Manuel Garcia 12-11-2011 07:37
muchas gracias hermano este pequeño tips me ayudara a hacer un buen seo en mi web
 

Video Tutorial Joomla: manuales de componentes, modulos y plugins de Joomla
Copyright © 2008 - 2011 Video tutorial Joomla - Todos los derechos reservados