㊜Suscribete!!! Quieres seguir este blog? Participa en el sitio

Selecciona tu idioma

¿Cómo crear un archivo Robots.txt para un sitio web? Parte II

Antes de lanzar una nueva web mayormente cometemos estos típicos error de SEO
Hoy te voy a enseñar cómo crear un robots.txt de manera fácil y funcional.
robots.txt sirve, básicamente, para decirle al robot (ya sea del buscador que sea) qué le recomiendas que visite y qué no.
Tu web no funcionará mejor o peor por tenerlo, aunque los buscadores (especialmente Google) sí te verán con mejores ojos a la hora de valorar tu posicionamiento si lo tienes.


Cómo crear un robots.txt
 ╔═══════ ≪ °❈° ≫ ═══════╗
╚═══════ ≪ °❈° ≫ ═══════╝
Si tu ya estas convencido que las  web debe tener un robots.txt funcional y efectivo. Antes de nada, debo decirte que tener un archivo robots.txt en tu web no una obligación, es también una recomendación.
Crear un archivo robots.txt es muy sencillo, incuso aunque nunca hayas creado uno.

Para crear un robots.txt simplemente tendrás que:
Crear un archivo de texto.
renómbralo como “robots.txt”

Crea las instrucciones que creas necesarias con un editor de texto (te recomiendo Notepad++, que además es gratuito, o en un bloc de notas )

Subirlo a tu hosting y alojarlo en la raíz de tu web , comprobarlo en Search Console (antes Webmaster tools, por si no lo sabías) .El proceso, como ves, es muy muy sencillo.

Pero, como siempre, debes saber antes qué quieres hacer con él.
Abre el archivo que acabas de crear y al que has llamado “robots.txt” y añade este código:
Disallow
Este código se refiere a las partes de la web a las que queremos restringir el acceso del robot.

Las opciones son las siguientes:
Disallow: 
Con el código anterior acabas de decirle a cualquier buscador que tiene acceso a toda la web.

Disallow: /
Así, tal cual, no dejas que el robot pueda entrar en ninguna parte de la web.

Disallow: /directorio o archivo
Si cambias la palabra directorio o archivo por la carpeta o archivo que tú creas conveniente de tu web, estarás dejando entrar al robot por donde quiera menos por el directorio que le has dicho.

Por ejemplo. Yo no quiero que el robot llegue hasta una carpeta donde tengo mis archivos javascript, pues usaría este código:
Disallow: /js

Si quisiera denegar el acceso a la página “Quién soy” de mi web
Disallow: /quien-soy.html
Fácil, verdad

Allow
Por defecto, todo lo que no está restringido por Disallow es que está abierto. ¿Entonces para que quiero el comando Allow (permitir)?
Aunque no se suele usar mucho, ya que hay algunos robots que no entienden esta orden, puede ser útil para forzar la visita del robot a una parte concreta de la web.

User-agent
Se refiere a los robots que puedan llegar a tu web.

User-agent: *
Al usar el asterisco (un comodín que sirve para cualquier contenido), te estas refiriendo a cualquier robot.

Podrías especificar a qué robot quieres darle las consignas simplemente refiriéndote a él.
Por ejemplo, si quieres referirte sólo al bot de Google puedes usar este código:
User-agent: Googlebot

Su funcionalidad es exactamente igual pero inversa a la de Disallow, es decir, que si quiero que los robots visiten sí o sí mi blog, puedo forzarlo escribiendo:
Allow: /blog

Antes te comentaba que mediante User-agent, puedes dirigirte a un robot en concreto y darle órdenes a ese robot en concreto. Por lo tanto, en el mismo archivo robots.txt puede especificar dónde puede ir o no a cada robot que llegue a tu web.

Nota:En algunos casos, la cantidad de código que se puede generar en un sólo robots.txt puede ser considerable y por eso es muy práctico hacer uso de los comentarios para saber que es cada cosa.
Los comentarios son parte del código que no se ejecuta ni se visualiza y se usa exclusivamente para escribir notas aclaratorias, comentarios sobre el código y otros contenidos que puedan ayudar al programador a entender el código.⇜✫⇝✫⇜✫

Para crear un comentario sólo debes iniciar la línea de texto con el símbolo: #
Por ejemplo:
# Dejo pasar a todos los robots
User-agent: *
Disallow:
El texto “# Dejo pasar a todos los robots “ no lo verá nadie más que el programador.

Comodines
También puedes usar los comodines. Los comodines sirven para sustituir texto por un criterio más amplio.
Asterisco (*)
Lo has usado con “User-Agent” para referirte a cualquier robot. Por lo tanto lo usarás para referirte a cualquier texto.
Veamos un ejemplo.
Si quieres limitar el acceso a cualquier archivo que esté dentro de la carpeta de lo publicado en 2019, puedes hacer:
Disallow: /2019/*

Dólar($)
El símbolo del dólar ($) lo usarás cuando quieras referirte a algo en concreto.
Para usarlo siempre se pone al final de la orden.
Por ejemplo, quieres que no se acceda a la carpeta /2019 exclusivamente, puedes usar este código:
Disallow: /2019$

También puedes combinar ambos.
Por ejemplo, quieres bloquear el acceso a todos los archivos CSS, pero sólo a esos sin que afecte a los demás de la carpeta o directorio.
Disallow: /*.css$

☆・。。Estarás de acuerdo conmigo en que es muy práctico, útil y muy fácil.・゜゜・。。・

 Conclusiones
 ╔═══════ ≪ °❈° ≫ ═══════╗ 
╚═══════ ≪ °❈° ≫ ═══════╝
El uso de robots.txt es una muy buena práctica para limitar el acceso a robots de diferentes buscadores en tu web.
Como has podido ver, el proceso es muy sencillo y sólo necesita de un buen conocimiento de tu web y algunos comandos que limiten o no según qué partes de tu web.
¿Qué es Robots.txt y para qué sirve? Parte I 
 ⇜✫⇝✫⇜✫⇝✫⇜✫⇝✫⇜✫⇝✫
█▌│▌║▌ │█│║││█│Siguenos en YouTube Siguenos en YouTube
 
ADVERTENCIA: NO INTENTE HACER UN ATAQUE SIN EL PERMISO DE PROPIETARIO DEL SITIO WEB. ES UN PROPÓSITO EDUCATIVO SOLAMENTE. 
NO ES RESPONSABLE DE NINGÚN TIPO DE PROBLEMA ILEGAL. 
PERMANECE LEGAL. GRACIAS! 
Si tienes algún problema, deja un comentario.

Comentarios

㊜Luishiño

★ ★ ★ ★ ★

Hola soy ぎLuishiño y este es mi Blog personal .. 

Me considero un joven emprendedor,curioso,creativo,alegre y confiable, siempre buscando la manera de mejorar como amigo y persona . Estudio la carrera de ing. sistemas aquí es donde me gusta escribir sobre temas que en su momento me interesan. Aveces sobre mi vida personal y principalmente cosas de programación ,desarrollo web.Aplicaciones,Software, programas que yo mismo las desarrollo y cosas básicas de informática. >⚠ Nadie es como tú y ese es tú súper poder ¯\(°_o)/¯ Sigue mi blog

↪Sígueme en las redes sociales↩

Si tienes algún dudas, deja un comentario¿Ha quedado contestada su pregunta? Comparte tu Opinión

Entradas populares de este blog

Sockberus Autentificación de proxys

USB File Resc eliminar virus de accesos directos, recycler y otros malware de tus unidades usb

Vulnerabilidad en facebook hackear con xploitz parte II

Grabify: geolocalización a través de enlace

¿Qué es Deep Web, Dark Web y Darknet?

Termux Instalar y usar Shellphish

¿Cuales son los Password attacks? (Ataques por Password)

USBDeview permite administrar todos los dispositivos USB conectados al ordenador

Introducción a la programación parte III

Hackear facebook y gmail con node.js método phishing

Entradas populares de este blog

USB File Resc eliminar virus de accesos directos, recycler y otros malware de tus unidades usb

¿Qué es un xploitz? Vulnerabilidad en facebook hackear parte I

Vulnerabilidad en facebook hackear con xploitz parte II

Sockberus Autentificación de proxys

Programa Revealer Keylogger Pro

¡Bienvenido!

a la web de seguridad de la información the seven codes. Estimado Visitante, Te doy la más cordial bienvenida Atte:ぎLuishiño. Esperamos que encuentre la información que tú busca y que como resultado, me vea favorecido con su elección y preferencia. En este blog podrás encontrar muchas cosas de su utilidad, desde herramientas, manuales,comandos, artículos, tutoriales todo el contenido es totalmente gratuito hazta consejos los cuales ayudaran a seguir ampliando su conocimiento & siga aumentando tú pasión por la informática. Te deseo mucha éxito & suerte que te diviertas con el contenido del blog. Si quieres colaborar con algún contenido lo puedes hacer de forma abierta en la comunidad cyber hacking o en el whatsapp , se publicara tu articulo mas tus redes sociales para que puedan seguirte. ❯❯Más información

¯\(°_o)/¯ Sígueme en mi blog

Mira este video y sorprendete

Tu y Las Redes Sociales

Tu y Las Redes Sociales

Publicada por Servicio Técnico "The Seven Codes " en Martes, 5 de diciembre de 2019

"Es tiempo que te preguntes, si eres libre y si te gusta como ellos te obligan a vivir."

Libros

by @Luishiño! Publicado en abril 14, 2019

Hackear con ataque de diccionario fuerza bruta | Facebook

$9.99

Libros

by @Luishiño! Publicado en abril 14, 2019

Ingenieria inversas hackeando Aplicaciones de Android | apk infect

$5.99

Libros

by @Luishiño! Publicado en abril 14, 2019

Doxing - Espionaje y recopilación de Información | Facebook

$3.99

Libros

by @Luishiño! Publicado en abril 14, 2019

Metodo phishing Hackear con xploits 3.0 ! Facebook

$20.99