CrawlLedger: CLI для анализа стоимости веб-краулеров

🚀 Анализируя логи, разработчик создал CrawlLedger, который показывает, сколько на самом деле стоят веб-краулеры для вашего сервера. Этот оффлайн инструмент на Go принимает логи Nginx или Caddy и генерирует HTML-отчёт, выявляя проблемы, такие как 404-ошибки и нарушения robots.txt. Он также проверяет, как различные политики могут повлиять на нагрузку, и предлагает черновики конфигураций сервера. Инструмент уже на стадии тестирования, и автор ищет отзывы от реальных пользователей, чтобы улучшить его функциональность. Более подробную информацию можно найти на GitHub.