Não sei se deu pra entender muito bem sua dúvida mas vou tentar explicar de acordo com o que entendi:

1) Se um jogador diz ter a Elsa pra poder pegar o castelo e alguém contesta ele com sucesso, ele é obrigado a devolver o castelo e o pó mágico.

2) Você só pode contestar um jogador no momento que ele faz a ação. Por exemplo, imagina que você diz ser a Elsa no seu turno, aí eu no meu turno uso o Tigrão e descubro que você não tem a Elsa, eu não posso contestar sua Elsa porque sua ação já passou.

3) Vamos supor que eu tenha o castelo da Elsa. Se eu perder uma carta e revelar a Elsa, eu não perco a posse do Castelo até outra Elsa reinvindicar ele.

Pelo o que eu entendi sua dúvida pode abordar um desses três cenários.

a única forma de Você perder o castelo é se alguém disser que é a elsa.

situação que pode acontecer em jogo e já aconteceu comigo, 2 elsas foram reveladas, a minha foi relevada também, mas mantive o castelo e ninguém poderia toma-lo, já que sabemos que as 3 elsas já estavam reveladas.