A fase de invasão funciona assim:
1) Some a quantidade de cidades e metrópoles de todos os jogadores, essa será a força dos bárbaros.
2) Some a força de todos os cavaleiros ativos.
3) Se a força dos bárbaros for maior, então o jogador que menos contribuiu vai perder uma cidade.
Ex: Jogador 1 possuí 1 cavaleiro forte ativo com o total de força 2.
Jogador 2 possuí 1 cavaleiro poderoso ativo com o total de força 3.
Jogador 3 possuí 2 cavaleiros simples ativos com o total de força 2.
Supondo que a força total dos bárbaros é igual a 8, então os jogadores 1 e 3 vão perder uma cidade por ter contribuído com o menor valor de força.
Agora supondo que haja um quarto jogador que não possui nenhum cavaleiro ativo, somente esse jogador vai perder uma cidade.

Lembrando que, os jogadores que menos contribuíram só perderão uma cidade caso a força dos cavaleiros seja menor que a força dos bárbaros.

Neste tópico aqui da Ludopedia...

Ludopedia
Fórum
Erro no manual
Catan: O Jogo - Cidades e Cavaleiros

... foi discutida esta questão e outras.

Abraços e bom jogo.

Outra dúvida:
Jogando em 3 pessoas, apenas 1 jogador tinha cavaleiro ativado, os outros 2 não estavam com cavaleiro ativado. Perdemos a batalha.

O que acontece com os 2 jogadores que não tinham cavaleiros ativados? Qual o prejuízo? Cada um perde uma cidade?

Continuando a dúvida…
Jogando em 3 pessoas, apenas 1 jogador tinha cavaleiro ativado, os outros 2 não estavam com cavaleiro ativado. Perdemos a batalha.

O que acontece com os 2 jogadores que não tinham cavaleiros ativados? Qual o prejuízo? Cada um perde uma cidade?

Qual cidade será perdida? A com muralha ou a sem muralha? Posso escolher?

Mais uma dúvida…
Se nós perdemos a batalha contra os bárbaros quem tinha cavaleiro no tabuleiro que não estava ativado, vai perder esses cavalheiros?

LuanaLanza::Continuando a dúvida…
Jogando em 3 pessoas, apenas 1 jogador tinha cavaleiro ativado, os outros 2 não estavam com cavaleiro ativado. Perdemos a batalha.

O que acontece com os 2 jogadores que não tinham cavaleiros ativados? Qual o prejuízo? Cada um perde uma cidade?

Qual cidade será perdida? A com muralha ou a sem muralha? Posso escolher?

No teu exemplo os 2 que não ajudaram perde uma cidade, você que escolhe qual cidade perder. 
Sobre a outra pergunta, não acontece nada com os cavaleiros que estavam inativo, o que estava ativo, passa a ficar inativo, precisando de um trigo para voltar a ser ativo