Me parece que vc entendeu duas coisas de maneira errônea. 

Primeiro, quando vc joga com os desertores eles não trocam fisicamente suas cartas no momento da troca de lealdade. Se for indicado para eles trocarem de lealdade durante a missão adequada, o desertor espião agora sabe que é resistência e vice-versa para o outro. Apenas isso, eles não se revelam, nem trocam fisicamente.

Segundo, quando vc joga com o Inquisidor em conjunto com quaisquer personagens especiais (desertores incluso) vc não revela sua carta de personagem para o Inquisidor, mas sim apenas seu time, usando umas cartas de lealdade genéricas que vem escrito Resistência ou Espiões.

Recomendo fortemente que vc jogue as primeiras partidas sem expansões pra vc e sua galera se habituarem. 

Você está confundindo as "cartas de lealdade" com as "cartas de troca de lealdade". A terminologia no manual realmente não ficou bacana.

As "cartas de lealdade" são apenas duas: uma que mostra "resistência" e outra que mostra "espião". Nenhum jogador mantém as "cartas de lealdade" em seu poder. Um jogador pega as cartas de lealdade só na hora que ele for investigado (se houver no jogo a possibilidade de investigação), para revelar a sua lealdade, em segredo, a quem o está investigando. Elas só servem pra isso. Tanto que, se nenhum personagem especial estiver sendo usado - num jogo base apenas com a expansão do Inquisidor - elas nem são necessárias: basta mostrar a sua carta de personagem.

As "cartas de troca de lealdade" são aquelas que formam o "baralho (de troca) de lealdade", que fica visível a todos e que é uma informação usada pelos Desertores para eles saberem se viraram a casaca ou não. Numa partida com Desertores e também com possibilidade de investigação, já que há pelo menos 1 personagem especial, deve-se usar aquelas duas "cartas de lealdade", para que ninguém saiba exatamente qual personagem alguém tem se for investigado; só a qual facção aquela pessoa pertence. Um Desertor investigado revela em segredo a carta da sua facção atual.