Exato, só pra reforçar.
Tokens = peças de papelão redondas das facções. No manual da Meeple BR a expressão foi traduzida para "marcadores".
Buildings = peças de papelão quadradas das facções. A expressão foi traduzida para "construções".
A regra geral é essa que o @diegosantos88 citou, marcadores e construções, quando removidos, voltam para o tabuleiro do jogador respectivo.
A exceção para essa regra são os postos de comércio (marcadores) da Companhia Ribeirinha, que vão direto para a caixa.
Guerreiros removidos voltam para o estoque geral do jogador.
A exceção para essa regra são os guerreiros dos Lagartos Cultistas quando removidos em batalhas em que eles são defensores, daí vão para o espaço "acólitos" do tabuleiro do jogador.
O peão do Malandro nunca é removido de jogo.
Por fim, quando itens são removidos eles vão para fora do jogo também (não confundir com exaurir ou danificar, que não são o mesmo que remover).