É possível sim jogar em 2 jogadores, mas o próprio autor do jogo não recomenda. A justificativa é que alguns objetivos ficam muito longos de serem alcançados e também diminui bastante a interação na mesa.
Como estou jogando o jogo com meu grupo, posso te adiantar que realmente é legal ter mais gente pra jogar. 3 pessoas já é o suficiente. Em 5, o jogo fica muito longo, as rodadas demoradas e fica mais difícil se acertar com o grupo pra marcar a jogatina.
Sobre adicionar e remover um jogador: sim, o manual contempla essa possibilidade, como o colega acima respondeu. Porém, observe que ele realmente ADICIONA ou REMOVE, inclusive não sendo possível utilizar a mesma "cor" de jogador. O ideal, se você tiver pelo menos mais uma pessoa que queira jogar, mas não com frequência, é você deixar essa pessoa, não removê-la, e considerar jogar sem ela, utilizando o mecanismo de "falta" do jogador (ele ganha a pontuação do último colocado -1).