Separa bots malos de crawlers, mejora evaluación

Al igual que con los bots malos, los crawler pueden ser detenidos en
función del dominio. En desarrollo se bloquean para todos los
subdominios.