Não existe nada nas regras que não permita você tirar a tábua de baixo.
Sobre fazer bagunça, eu tenho muitas partidas desse jogo, e nenhuma vez remover uma tábua abaixo de outras causou tanto caos, com um pouco de cuidado essa remoção é praticamente indolor. Mas lembre-se que tábuas (mesmo as empilhadas) devem ficar sobre o suporte de um pedra, então remover a tábua de baixo nunca vai deixar outra sem suporte, evitando o caos.
Mas se isso incomoda a sua mesa, mas você pode usar sua interpretação como uma house rule, mas fique atento que vai ser mais díficil dar blocks removendo tábuas.