TOOLBOX//NEON
|
JSON.FORMATFormateador, Validador y Minificador JSON//REGEX.TESTERProbador de Expresiones Regulares en Vivo//PDF.SUITEMerge, Split, Rotar, Extraer Texto y Marca de Agua//IMAGE.STUDIOEditor de Imágenes, Filtros, Recortes, PNG, JPG, WEBP y Base64//HTML.BEAUTIFYFormateador, Embellecedor y Validador HTML//CSS.MINIFYMinificador, Limpiador y Formateador CSS//SQL.FORMATTEREmbellecedor de Consultas SQL y Sintaxis//SVG.EXCALIDRAWEditor Visual SVG con Excalidraw, Vectorial y Formateador//TEXT.DIFFComparador de Texto Diff y Contador de Palabras//YAML.CONVERTValidador y Convertidor Bidireccional YAML/JSON//XML.PARSERFormateador, Inspector y Validador de Árbol XML//GRAPHQL.STUDIOFormateador, Minificador, Ordenador AST y Validador GraphQL//BASE64.CODECCodificador y Decodificador Base64 y URL Safe//LOREM.IPSUMGenerador de Texto Dummy, Párrafos y Palabras//PASSWORD.GENGenerador de Contraseñas Seguras y Aleatorias//URL.STUDIOSuite de 8 Herramientas: Encode, Decode, Validar, Parse, Build y Query//QR.STUDIOCreador de Códigos QR con Logos, Formas y Colores//ASCII.EXPLORERTabla ASCII 0-255, Atajos Alt y Símbolos CP437//KEYCODES.LIVEDetector en Vivo de Teclas y JavaScript KeyCodes//JWT.DEBUGGERDecodificador de Tokens JWT, Claims y Verificación Web Crypto//BINARY.CODECConversor Bidireccional de Texto a Binario y Binario a Texto UTF-8//CHARTS.STUDIOGenerador de Gráficos de Barras, Líneas, Áreas, Torta y Dispersión//UUID.V7Generador y Validador UUID v4, v7, v1 y Bulk GUID//CSV.JSONConversor CSV a JSON y JSON a CSV con Visor de Tablas//COLORS.STUDIOConvertidor HEX/RGB/HSL, Generador de Paletas y WCAG//SEO.METAGenerador de Meta Tags, OpenGraph y Preview SERP Google//SCHEMA.JSONLDGenerador Schema.org JSON-LD para Rich Snippets//SITEMAP.XMLGenerador y Validador de Sitemaps XML//ROBOTS.TXTGenerador y Validador de Directivas Robots.txt y Bloqueo IA//FAKE.DATAGenerador de Datos Falsos y Mocks JSON, CSV, SQL//CLOCK.WORLDReloj Mundial en Tiempo Real, Globo 3D Holográfico y 174 Países//DATE.CALCCalculadora de Fechas, Edad Exacta, Días Hábiles, Diferencias y Unix Timestamp//CALC.SUITE29 Calculadoras: Porcentajes, Hipotecas, Préstamos, IVA, IMC, Calorías y Sueldos//JSON.FORMATFormateador, Validador y Minificador JSON//REGEX.TESTERProbador de Expresiones Regulares en Vivo//PDF.SUITEMerge, Split, Rotar, Extraer Texto y Marca de Agua//IMAGE.STUDIOEditor de Imágenes, Filtros, Recortes, PNG, JPG, WEBP y Base64//HTML.BEAUTIFYFormateador, Embellecedor y Validador HTML//CSS.MINIFYMinificador, Limpiador y Formateador CSS//SQL.FORMATTEREmbellecedor de Consultas SQL y Sintaxis//SVG.EXCALIDRAWEditor Visual SVG con Excalidraw, Vectorial y Formateador//TEXT.DIFFComparador de Texto Diff y Contador de Palabras//YAML.CONVERTValidador y Convertidor Bidireccional YAML/JSON//XML.PARSERFormateador, Inspector y Validador de Árbol XML//GRAPHQL.STUDIOFormateador, Minificador, Ordenador AST y Validador GraphQL//BASE64.CODECCodificador y Decodificador Base64 y URL Safe//LOREM.IPSUMGenerador de Texto Dummy, Párrafos y Palabras//PASSWORD.GENGenerador de Contraseñas Seguras y Aleatorias//URL.STUDIOSuite de 8 Herramientas: Encode, Decode, Validar, Parse, Build y Query//QR.STUDIOCreador de Códigos QR con Logos, Formas y Colores//ASCII.EXPLORERTabla ASCII 0-255, Atajos Alt y Símbolos CP437//KEYCODES.LIVEDetector en Vivo de Teclas y JavaScript KeyCodes//JWT.DEBUGGERDecodificador de Tokens JWT, Claims y Verificación Web Crypto//BINARY.CODECConversor Bidireccional de Texto a Binario y Binario a Texto UTF-8//CHARTS.STUDIOGenerador de Gráficos de Barras, Líneas, Áreas, Torta y Dispersión//UUID.V7Generador y Validador UUID v4, v7, v1 y Bulk GUID//CSV.JSONConversor CSV a JSON y JSON a CSV con Visor de Tablas//COLORS.STUDIOConvertidor HEX/RGB/HSL, Generador de Paletas y WCAG//SEO.METAGenerador de Meta Tags, OpenGraph y Preview SERP Google//SCHEMA.JSONLDGenerador Schema.org JSON-LD para Rich Snippets//SITEMAP.XMLGenerador y Validador de Sitemaps XML//ROBOTS.TXTGenerador y Validador de Directivas Robots.txt y Bloqueo IA//FAKE.DATAGenerador de Datos Falsos y Mocks JSON, CSV, SQL//CLOCK.WORLDReloj Mundial en Tiempo Real, Globo 3D Holográfico y 174 Países//DATE.CALCCalculadora de Fechas, Edad Exacta, Días Hábiles, Diferencias y Unix Timestamp//CALC.SUITE29 Calculadoras: Porcentajes, Hipotecas, Préstamos, IVA, IMC, Calorías y Sueldos//
MODULE 04 · SEO & CRAWLER DIRECTIVES

Robots.txt Generator & Validator

Generador visual y validador de directivas robots.txt con presets para Next.js, WordPress, bloqueo de bots de Inteligencia Artificial (GPTBot, CCBot) y evaluador de URLs.

CONFIGURACIÓN DE DIRECTIVAS

PROBADOR DE URLS EN TIEMPO REAL

✗ BLOQUEADO (DISALLOWED)Disallow: /admin/, /api/, etc.
ROBOTS.TXT
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /checkout/
Disallow: /private/
Allow: /

Sitemap: https://toolbox-neon.dev/sitemap.xml

Guía Técnica: Protocolo de Exclusión Robots.txt (RFC 9309)

1. ¿Qué es robots.txt y cómo funciona el RFC 9309?

Robots.txt es un archivo de texto plano ubicado en la raíz del servidor web (`https://dominio.com/robots.txt`). Indica a los bots y arañas de búsqueda qué secciones del sitio web pueden o no pueden rastrear mediante directivas `User-agent`, `Allow` y `Disallow`.

2. Disallow vs Meta Tag noindex: El Gran Error Común

Un error frecuente es asumir que bloquear una URL en `robots.txt` evita que aparezca en Google. Si otros sitios enlazan a esa URL, Google puede indexarla mostrando la URL sin contenido. Para evitar totalmente la indexación, se debe permitir el rastreo y colocar `<meta name="robots" content="noindex">` en la página HTML.

HERRAMIENTAS SEO RELACIONADAS:

XML Sitemap Generator →Meta Tags & OpenGraph →
TOOLBOX // HANDY WEB UTILITIES // RUN LOCAL, NO TRACKING
SECUREAD
NORD_SHIELD
PROMOAD
CYBER_VPS
AI TOOLSAD
NEURAL_CODE
DATABASEAD
VECTOR_DB
SECURITYAD
VAULT_LOCK
API HUBAD
API_GATEWAY
DEV OPSAD
SMTP_TURBO
EDUCATIONAD
CYBER_ACADEMY
SECUREAD
NORD_SHIELD
PROMOAD
CYBER_VPS
AI TOOLSAD
NEURAL_CODE
DATABASEAD
VECTOR_DB
SECURITYAD
VAULT_LOCK
API HUBAD
API_GATEWAY
DEV OPSAD
SMTP_TURBO
EDUCATIONAD
CYBER_ACADEMY