Cómo subir el archivo robots.txt
¿Sabías que una vez que hayas guardado el archivo robots.txt en tu ordenador, puedes ponerlo a disposición de los rastreadores de los buscadores? ¡Vamos a ver cómo!
Primero, tienes que subir el archivo al servidor. La forma de hacer esto puede variar dependiendo de la arquitectura del servidor y del sitio. Si tienes dudas, tu mejor opción es ponerte en contacto con tu empresa de alojamiento o buscar en su documentación. Como consejo, puedes buscar «subir archivos» seguido del nombre de tu proveedor. Por ejemplo, «subir archivos infomaniak».
Una vez que hayas subido el archivo, tienes que asegurarte de que sea accesible al público y que Google pueda analizarlo. ¿Cómo lo haces? Simplemente abre una ventana de navegación privada (o equivalente) en tu navegador y desplázate a la ubicación del archivo robots.txt. Por ejemplo, https://example.com/robots.txt. Si puedes ver el contenido del archivo, ¡genial! Ya puedes probar el marcado.
Probar el marcado del archivo robots.txt
Google ofrece dos opciones para probar el marcado de los archivos robots.txt:
El Probador de robots.txt de Search Console: Esta herramienta solo se puede utilizar con archivos robots.txt que ya estén accesibles en tu sitio.
La biblioteca de robots.txt de código abierto de Google: Especialmente útil si eres desarrollador. Puedes usar esta herramienta para probar archivos robots.txt en tu propio ordenador.
Después de subir y probar tu archivo robots.txt, los rastreadores de Google buscarán y empezarán a usar el archivo robots.txt automáticamente. ¡Muy fácil!
Enviar el archivo robots.txt a Google
Si has actualizado tu archivo robots.txt y necesitas que Google actualice su copia almacenada en caché lo antes posible, debes saber cómo enviar un archivo robots.txt actualizado. ¡Vamos a verlo!
Actualizar el archivo robots.txt
Para actualizar las reglas del archivo robots.txt, necesitarás descargar una copia desde tu sitio y hacer los cambios que consideres necesarios. Puedes hacer esto de varias formas:
Ve al archivo robots.txt (por ejemplo, desde la ruta https://example.com/robots.txt) y copia su contenido en un nuevo archivo de texto del ordenador.
Descarga una copia real del archivo robots.txt con una herramienta como cURL. Por ejemplo:
curl https://example.com/robots.txt -o robots.txt
- Con el Probador de robots.txt de Search Console podrás descargar una copia de tu archivo robots.txt.
Una vez que hayas descargado el archivo, puedes abrirlo en un editor de texto y hacer los cambios necesarios en las reglas. Asegúrate de utilizar la sintaxis correcta y guardar el archivo con codificación UTF-8.
Después, deberás subir tu nuevo archivo robots.txt a la raíz del dominio como un archivo de texto llamado «robots.txt».
Si no tienes permiso para subir archivos a la raíz de tu dominio, deberás pedir al administrador del dominio que haga los cambios pertinentes.
Actualizar la caché del archivo robots.txt de Google
Después de todo esto, querrás asegurarte de que Google tenga la versión más reciente de tu archivo robots.txt. Los rastreadores de Google detectan automáticamente los cambios que haces en el archivo robots.txt y actualizan la versión almacenada en caché cada 24 horas.
Pero si necesitas actualizar la caché con mayor rapidez, puedes utilizar la función Enviar del Probador de robots.txt. Haz clic en Enviar para avisar a Google de que el archivo robots.txt ha cambiado y solicitarle que lo rastree. Para comprobar que Google haya rastreado correctamente la versión más reciente, puedes actualizar la página del navegador donde tienes abierto el editor de la herramienta y confirmar que el código de robots.txt publicado sea el que te interesa.
Y ahí lo tienes. Eso es todo lo que necesitas saber para subir, probar y actualizar tu archivo robots.txt.