En SearchEngineland comentan algo que no deja de ser irónico:
«Si Google no encuentra tu Robots.txt, es posible que no indexe tu contenido»
Para los que no lo conozcan, el Robots.txt es un fichero de texto en el que se indica a las arañas o spiders de los buscadores si tienen el permiso del dueño del sitio para indexar los contenidos y añadirlos después como resultados en los diferentes buscadores.
Realmente el problema se puede dar cuando caduca la petición de descarga del fichero robots.txt (por ejemplo, el fichero existe pero el buscador no es capaz de descargarlo). En ese caso, el buscador puede optar por la opción más segura, que sería no indexar el contenido.
De todas formas si no somos capaces de que se descargue correctamente un fichero de texto plano de un par de KB, seguramente el posicionamiento en buscadores sea el menor de nuestros problemas…
Consejos para afrontar la crisis | Libro de Apuntes
[…] Asegúrate de que tu sitio está indexado correctamente en google: utiliza google webmaster central, podrás revisar qué errores ha encontrado google al navegar por tu sitio (páginas no encontradas, páginas “huérfanas”, errores en el robots.txt). […]