Primeiro tem que ver se jogaram certo:
Se tem cartas na mão e alguma carta encaixa no jogo, você é obrigado a jogar ela.a troca de mão só acontece se e somente se você não tem nenhuma carta que possa jogar.
Se jogaram assim, a troca de mão e válida, e vocês ganharam justamente.
Porém se sabiam que uma carta se encaixa para ganhar e trocaram de mão somente para conquistar essa carta mesmo com cartas em mãos que podiam ser baixado, vocês não jogaram certo, aí a troca de mão realmente parece ser frustrante, até pq foi jogado de forma errônea.
Se jogaram certo, a troca de mão não é uma falha, pelo contrário, é um artifício para o jogo continuar, senão na primeira impossibilidade de jogar carta o joga acabaria, tornando muito mais difícil o jogo do que já é