É possível, mas como o igorfernandespi comentou vai alterar o balanço do jogo e deixar ele longo. Isso é certo.
Aí realmente acho que vai de grupo pra grupo. Tipo, se o grupo se diverte com várias partidas seguidas de uno (que tem uma regra por esquina), não é um agrícola que vai melhorar a tarde.
Entãooo, 5/6 jogadores não é a intenção do designer do jogo, mas seria testar com seu grupo, se curtirem ok, para mim é válido. Você só precisa de cópias de trabalhadores iniciais e carvoarias. Outras cartas tem suficiente sim.
Nunca testei com 5/6 jogadores, mas já uso cubinhos como recursos, acho mais fácil de visualizar a quantidade que com as cartas.