㊜Suscribete!!! Quieres seguir este blog? Participa en el sitio

Selecciona tu idioma

¿Cómo crear un archivo Robots.txt para un sitio web? Parte II

Antes de lanzar una nueva web mayormente cometemos estos típicos error de SEO
Hoy te voy a enseñar cómo crear un robots.txt de manera fácil y funcional.
robots.txt sirve, básicamente, para decirle al robot (ya sea del buscador que sea) qué le recomiendas que visite y qué no.
Tu web no funcionará mejor o peor por tenerlo, aunque los buscadores (especialmente Google) sí te verán con mejores ojos a la hora de valorar tu posicionamiento si lo tienes.


Cómo crear un robots.txt
 ╔═══════ ≪ °❈° ≫ ═══════╗
╚═══════ ≪ °❈° ≫ ═══════╝
Si tu ya estas convencido que las  web debe tener un robots.txt funcional y efectivo. Antes de nada, debo decirte que tener un archivo robots.txt en tu web no una obligación, es también una recomendación.
Crear un archivo robots.txt es muy sencillo, incuso aunque nunca hayas creado uno.

Para crear un robots.txt simplemente tendrás que:
Crear un archivo de texto.
renómbralo como “robots.txt”

Crea las instrucciones que creas necesarias con un editor de texto (te recomiendo Notepad++, que además es gratuito, o en un bloc de notas )

Subirlo a tu hosting y alojarlo en la raíz de tu web , comprobarlo en Search Console (antes Webmaster tools, por si no lo sabías) .El proceso, como ves, es muy muy sencillo.

Pero, como siempre, debes saber antes qué quieres hacer con él.
Abre el archivo que acabas de crear y al que has llamado “robots.txt” y añade este código:
Disallow
Este código se refiere a las partes de la web a las que queremos restringir el acceso del robot.

Las opciones son las siguientes:
Disallow: 
Con el código anterior acabas de decirle a cualquier buscador que tiene acceso a toda la web.

Disallow: /
Así, tal cual, no dejas que el robot pueda entrar en ninguna parte de la web.

Disallow: /directorio o archivo
Si cambias la palabra directorio o archivo por la carpeta o archivo que tú creas conveniente de tu web, estarás dejando entrar al robot por donde quiera menos por el directorio que le has dicho.

Por ejemplo. Yo no quiero que el robot llegue hasta una carpeta donde tengo mis archivos javascript, pues usaría este código:
Disallow: /js

Si quisiera denegar el acceso a la página “Quién soy” de mi web
Disallow: /quien-soy.html
Fácil, verdad

Allow
Por defecto, todo lo que no está restringido por Disallow es que está abierto. ¿Entonces para que quiero el comando Allow (permitir)?
Aunque no se suele usar mucho, ya que hay algunos robots que no entienden esta orden, puede ser útil para forzar la visita del robot a una parte concreta de la web.

User-agent
Se refiere a los robots que puedan llegar a tu web.

User-agent: *
Al usar el asterisco (un comodín que sirve para cualquier contenido), te estas refiriendo a cualquier robot.

Podrías especificar a qué robot quieres darle las consignas simplemente refiriéndote a él.
Por ejemplo, si quieres referirte sólo al bot de Google puedes usar este código:
User-agent: Googlebot

Su funcionalidad es exactamente igual pero inversa a la de Disallow, es decir, que si quiero que los robots visiten sí o sí mi blog, puedo forzarlo escribiendo:
Allow: /blog

Antes te comentaba que mediante User-agent, puedes dirigirte a un robot en concreto y darle órdenes a ese robot en concreto. Por lo tanto, en el mismo archivo robots.txt puede especificar dónde puede ir o no a cada robot que llegue a tu web.

Nota:En algunos casos, la cantidad de código que se puede generar en un sólo robots.txt puede ser considerable y por eso es muy práctico hacer uso de los comentarios para saber que es cada cosa.
Los comentarios son parte del código que no se ejecuta ni se visualiza y se usa exclusivamente para escribir notas aclaratorias, comentarios sobre el código y otros contenidos que puedan ayudar al programador a entender el código.⇜✫⇝✫⇜✫

Para crear un comentario sólo debes iniciar la línea de texto con el símbolo: #
Por ejemplo:
# Dejo pasar a todos los robots
User-agent: *
Disallow:
El texto “# Dejo pasar a todos los robots “ no lo verá nadie más que el programador.

Comodines
También puedes usar los comodines. Los comodines sirven para sustituir texto por un criterio más amplio.
Asterisco (*)
Lo has usado con “User-Agent” para referirte a cualquier robot. Por lo tanto lo usarás para referirte a cualquier texto.
Veamos un ejemplo.
Si quieres limitar el acceso a cualquier archivo que esté dentro de la carpeta de lo publicado en 2019, puedes hacer:
Disallow: /2019/*

Dólar($)
El símbolo del dólar ($) lo usarás cuando quieras referirte a algo en concreto.
Para usarlo siempre se pone al final de la orden.
Por ejemplo, quieres que no se acceda a la carpeta /2019 exclusivamente, puedes usar este código:
Disallow: /2019$

También puedes combinar ambos.
Por ejemplo, quieres bloquear el acceso a todos los archivos CSS, pero sólo a esos sin que afecte a los demás de la carpeta o directorio.
Disallow: /*.css$

☆・。。Estarás de acuerdo conmigo en que es muy práctico, útil y muy fácil.・゜゜・。。・

 Conclusiones
 ╔═══════ ≪ °❈° ≫ ═══════╗ 
╚═══════ ≪ °❈° ≫ ═══════╝
El uso de robots.txt es una muy buena práctica para limitar el acceso a robots de diferentes buscadores en tu web.
Como has podido ver, el proceso es muy sencillo y sólo necesita de un buen conocimiento de tu web y algunos comandos que limiten o no según qué partes de tu web.
¿Qué es Robots.txt y para qué sirve? Parte I 
 ⇜✫⇝✫⇜✫⇝✫⇜✫⇝✫⇜✫⇝✫
█▌│▌║▌ │█│║││█│Siguenos en YouTube Siguenos en YouTube
 
ADVERTENCIA: NO INTENTE HACER UN ATAQUE SIN EL PERMISO DE PROPIETARIO DEL SITIO WEB. ES UN PROPÓSITO EDUCATIVO SOLAMENTE. 
NO ES RESPONSABLE DE NINGÚN TIPO DE PROBLEMA ILEGAL. 
PERMANECE LEGAL. GRACIAS! 
Si tienes algún problema, deja un comentario.

Comentarios

㊜Luishiño

★ ★ ★ ★ ★

Hola soy ぎLuishiño y este es mi Blog personal .. 

Me considero un joven emprendedor,curioso,creativo,alegre y confiable, siempre buscando la manera de mejorar como amigo y persona . Estudio la carrera de ing. sistemas aquí es donde me gusta escribir sobre temas que en su momento me interesan. Aveces sobre mi vida personal y principalmente cosas de programación ,desarrollo web.Aplicaciones,Software, programas que yo mismo las desarrollo y cosas básicas de informática.

El cibernauta no es sólo un navegante, es además un navegante solitario. La era de los Hackers.

->⚠ Nadie es como tú y ese es tú súper poder ¯\(°_o)/¯ Sigue mi blog

↪Sígueme en las redes sociales↩

Si tienes algún dudas, deja un comentario¿Ha quedado contestada su pregunta? Comparte tu Opinión

Descubrí Facebook

Mira este video y sorprendete

"Es tiempo que te preguntes, si eres libre y si te gusta como ellos te obligan a vivir."

Tu y Las Redes Sociales

Tu y Las Redes Sociales

Publicada por Servicio Técnico "The Seven Codes " en Martes, 5 de diciembre de 2019

Entradas populares de este blog

WhatScriptApp Spam masivo

USB File Resc eliminar virus de accesos directos, recycler y otros malware de tus unidades usb

Vulnerabilidad en facebook hackear con xploitz parte II

Hackear contraseñas WiFi con Python fácilmente con este sencillo script

Hackear gmail con Mailgrabber node.js

Sockberus Autentificación de proxys

¿Qué es un xploitz? Vulnerabilidad en facebook hackear parte I

Hackear facebook con keylogger c++ capturando datos

Termux Instalar y usar Shellphish

Darck y Guiza - framework para generar payloads

Entradas populares de este blog

USB File Resc eliminar virus de accesos directos, recycler y otros malware de tus unidades usb

Vulnerabilidad en facebook hackear con xploitz parte II

¿Qué es un xploitz? Vulnerabilidad en facebook hackear parte I

Sockberus Autentificación de proxys

Programa Revealer Keylogger Pro

youtube

"Ataque de fuerza bruta Este método se trata de prueba y error, donde el atacante, provisto con algún software automatizado, puede probar miles de combinaciones posibles de diferentes caracteres y longitudes para tratar de abrir la autenticación del usuario, hasta que da con la contraseña correcta."



Libros

by @Luishiño! Publicado en abril 14, 2019

Hackear con ataque de diccionario fuerza bruta | Facebook

$9.99

Libros

by @Luishiño! Publicado en abril 14, 2019

Ingeniería inversas hackeando Aplicaciones de Android | apk infect

$5.99

Únete al chat

QR Donate