Relatório do Screaming Frog com erros 5xx e no response
Se você notar muitos erros 5xx ou No Response no relatório do Screaming Frog mas as urls estiverem funcionando normalmente, provavelmente foi o servidor que não deu conta de tantas solicitações ao mesmo tempo.
Como resolver?
Você pode selecionar manualmente 5 ou 10 urls por vez e solicitar Recrawl com o botão direito. Mas e se forem muitas urls? Basta ir em Configuration > Speed e diminuir o número de Threads para não sobrecarregar o site e solicitar o recrawl das urls com erro 5xx!
Assim o sapo consegue ler com mais calma, sem derrubar o site.
E depois não esqueça de clicar em Craw Analysis novamente.