Corrige peticiones a robots y sitemap, refactoriza

Hasta el momento, no existía fichero 'robots.txt' ni 'sitemap.xml', y
cuando llegaban las peticiones al servicio ocurrían errores de lectura
de ficheros (con sitemap no llegaban las peticiones, las atiende el
servicio api). A partir de ahora, la respuesta de robots se construye al
recibir la petición y la de sitemap se obtiene desde un enlace público
en S3 (se hace proxy con caché de 5 minutos).

El contenido de robots incluye una referencia al sitemap y permite
indexar todo en modo producción. En caso contrario deniega todo y no
ofrece sitemap, para evitar indexados no deseados.

Ref #56.