«Si Google no encuentra tu Robots.txt, es posible que no indexe tu contenido»
Para los que no lo conozcan, el Robots.txt es un fichero de texto en el que se indica a las arañas o spiders de los buscadores si tienen el permiso del dueño del sitio para indexar los contenidos y añadirlos después como resultados en los diferentes buscadores.
Realmente el problema se puede dar cuando caduca la petición de descarga del fichero robots.txt (por ejemplo, el fichero existe pero el buscador no es capaz de descargarlo). En ese caso, el buscador puede optar por la opción más segura, que sería no indexar el contenido.
Bruno Rico 
