UTILSBOX⚡ВСЕ ИНСТРУМЕНТЫ54+
JSON.FORMATПолный набор для форматирования, валидации, сжатия, сравнения и конвертации JSON.//REGEX.TESTERТестирование регулярных выражений в реальном времени с объяснением и заменой.//PDF.SUITEОбъединение, разделение, извлечение текста, поворот и конвертация PDF в картинки.//IMAGE.STUDIOРедактор изображений в браузере: обрезка, фильтры, WebP, PNG и Base64.//HTML.BEAUTIFYФорматирование HTML кода, сжатие для продакшена и кодирование сущностей.//CSS.MINIFYФорматирование CSS, сжатие стилей для продакшена и конвертация CSS в SCSS.//SQL.FORMATTERФорматирование SQL запросов, транслятор диалектов и минификатор.//SVG.EXCALIDRAWИнтерактивный векторный редактор на базе Excalidraw и форматтер SVG.//TEXT.DIFFПодсчет слов, символов, оценка времени чтения и сравнение текстов Diff.//YAML.CONVERTДвусторонний валидатор и форматтер YAML и JSON с проверкой синтаксиса.//XML.PARSERФорматтер XML-документов, инспектор дерева элементов и конвертер в JSON.//GRAPHQL.STUDIOФорматтер запросов и схем SDL, минификатор и сортировка полей AST.//BASE64.CODECКодирование и декодирование Base64 и URL-Safe с поддержкой UTF-8.//LOREM.IPSUMГенератор текста-рыбы для макетов, прототипов и тестирования интерфейсов.//PASSWORD.GENГенератор криптографически стойких случайных паролей с оценкой энтропии.//URL.STUDIOНабор из 8 инструментов: encode, decode, валидатор, парсер и конструктор.//QR.STUDIOГенератор персонализированных QR-кодов с логотипами, цветами и градиентами.//ASCII.EXPLORERИнтерактивная таблица ASCII 0-255, Alt-коды и символы CP437.//KEYCODES.LIVEДетектор событий KeyboardEvent в реальном времени и таблица кодов JS.//JWT.DEBUGGERДекодер токенов JWT, инспектор claims и проверка подписи через Web Crypto.//BINARY.CODECДвусторонний конвертер текста в двоичный код с эффектом Matrix и таблицей ASCII.//CHARTS.STUDIOГенератор интерактивных графиков (столбцы, линии, круговая) из данных CSV.//UUID.V7Генератор партий UUID v4, v7 с сортировкой по времени, v1 и валидатор.//CSV.JSONДвусторонний конвертер CSV в JSON с настройкой разделителей и табличной сеткой.//COLORS.STUDIOКонвертер HEX/RGB/HSL/CMYK, цветовые гармонии и проверка контраста WCAG 2.1.//SEO.METAГенератор мета-тегов SEO, карточек Open Graph и предпросмотр в Google SERP.//SCHEMA.JSONLDГенератор микроразметки Schema.org JSON-LD для Google Rich Snippets.//SITEMAP.XMLГенератор стандартных XML-карт сайта (Протокол 0.9) для Google и Яндекс.//ROBOTS.TXTГенератор robots.txt, шаблоны блокировки ИИ-ботов и тестер URL-правил.//FAKE.DATAГенератор синтетических тестовых данных: экспорт в JSON, CSV, SQL и TypeScript.//CLOCK.WORLDМировое время в реальном времени с 3D глобусом и часовыми поясами 174 стран.//DATE.CALCДней между датами, точный возраст, рабочие дни, Unix timestamp и парсер cron.//CALC.SUITEНабор из 56+ онлайн-калькуляторов: проценты, ипотека, кредиты, НДС, ИМТ и зарплата.//JSON.FORMATПолный набор для форматирования, валидации, сжатия, сравнения и конвертации JSON.//REGEX.TESTERТестирование регулярных выражений в реальном времени с объяснением и заменой.//PDF.SUITEОбъединение, разделение, извлечение текста, поворот и конвертация PDF в картинки.//IMAGE.STUDIOРедактор изображений в браузере: обрезка, фильтры, WebP, PNG и Base64.//HTML.BEAUTIFYФорматирование HTML кода, сжатие для продакшена и кодирование сущностей.//CSS.MINIFYФорматирование CSS, сжатие стилей для продакшена и конвертация CSS в SCSS.//SQL.FORMATTERФорматирование SQL запросов, транслятор диалектов и минификатор.//SVG.EXCALIDRAWИнтерактивный векторный редактор на базе Excalidraw и форматтер SVG.//TEXT.DIFFПодсчет слов, символов, оценка времени чтения и сравнение текстов Diff.//YAML.CONVERTДвусторонний валидатор и форматтер YAML и JSON с проверкой синтаксиса.//XML.PARSERФорматтер XML-документов, инспектор дерева элементов и конвертер в JSON.//GRAPHQL.STUDIOФорматтер запросов и схем SDL, минификатор и сортировка полей AST.//BASE64.CODECКодирование и декодирование Base64 и URL-Safe с поддержкой UTF-8.//LOREM.IPSUMГенератор текста-рыбы для макетов, прототипов и тестирования интерфейсов.//PASSWORD.GENГенератор криптографически стойких случайных паролей с оценкой энтропии.//URL.STUDIOНабор из 8 инструментов: encode, decode, валидатор, парсер и конструктор.//QR.STUDIOГенератор персонализированных QR-кодов с логотипами, цветами и градиентами.//ASCII.EXPLORERИнтерактивная таблица ASCII 0-255, Alt-коды и символы CP437.//KEYCODES.LIVEДетектор событий KeyboardEvent в реальном времени и таблица кодов JS.//JWT.DEBUGGERДекодер токенов JWT, инспектор claims и проверка подписи через Web Crypto.//BINARY.CODECДвусторонний конвертер текста в двоичный код с эффектом Matrix и таблицей ASCII.//CHARTS.STUDIOГенератор интерактивных графиков (столбцы, линии, круговая) из данных CSV.//UUID.V7Генератор партий UUID v4, v7 с сортировкой по времени, v1 и валидатор.//CSV.JSONДвусторонний конвертер CSV в JSON с настройкой разделителей и табличной сеткой.//COLORS.STUDIOКонвертер HEX/RGB/HSL/CMYK, цветовые гармонии и проверка контраста WCAG 2.1.//SEO.METAГенератор мета-тегов SEO, карточек Open Graph и предпросмотр в Google SERP.//SCHEMA.JSONLDГенератор микроразметки Schema.org JSON-LD для Google Rich Snippets.//SITEMAP.XMLГенератор стандартных XML-карт сайта (Протокол 0.9) для Google и Яндекс.//ROBOTS.TXTГенератор robots.txt, шаблоны блокировки ИИ-ботов и тестер URL-правил.//FAKE.DATAГенератор синтетических тестовых данных: экспорт в JSON, CSV, SQL и TypeScript.//CLOCK.WORLDМировое время в реальном времени с 3D глобусом и часовыми поясами 174 стран.//DATE.CALCДней между датами, точный возраст, рабочие дни, Unix timestamp и парсер cron.//CALC.SUITEНабор из 56+ онлайн-калькуляторов: проценты, ипотека, кредиты, НДС, ИМТ и зарплата.//
МОДУЛЬ 04 · SEO И ДИРЕКТИВЫ КРАУЛЕРОВ

Генератор и валидатор Robots.txt

Генератор и валидатор файлов robots.txt (RFC 9309). Блокировка ИИ-скрейперов и оптимизация Crawl Budget.

НАСТРОЙКИ ДИРЕКТИВ

ТЕСТИРОВАНИЕ URL В РЕАЛЬНОМ ВРЕМЕНИ

✗ ЗАБЛОКИРОВАНОDisallow: /admin/, /api/, etc.
ROBOTS.TXT
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /checkout/
Disallow: /private/
Allow: /

Sitemap: https://utilsbox-neon.dev/sitemap.xml

Техническое руководство: Протокол Robots.txt (RFC 9309)

1. Что такое robots.txt?

Файл указывает поисковым роботам доступные для сканирования разделы сайта.

2. Disallow против meta noindex

Disallow блокирует скачивание страниц, а meta noindex исключает их из индекса.

СВЯЗАННЫЕ SEO-ИНСТРУМЕНТЫ:

XML Sitemap Generator →Meta Tags & OpenGraph →