A cor do trabalhador é a cor do trabalhador que você acabou de colocar.

Ex: Você coloca um trabalhador preto no Town Hall e usa a carta Mercador. Escolhe o Silversmith. Como o trabalhador alocado foi preto, o Silversmith te dá 3 moedas.

Talvez um melhor texto da carta fosse "como se o trabalhador que você alocar este turno..."

É exatamente isso aí: leva em conta a cor do trabalhador que vc acabou de usar para ativar essa ação.

Aproveito para comentar que essa carta em particular sofreu uma alteração na sua versão em inglês com relação à sua ação na tripulação:

"Gain 1 additional VP per pair of livestock at the game's end" (Ganhe 1 PV adicional a cada par de Gado ao fim do jogo)

A versão nacional veio com a versão anterior traduzida: "Ao fim do jogo, ganhe 1 PV adicional por cabeça de gado".

Pode parecer uma mudança pequena, mas pode alterar a pontuação de maneira a mudar o vencedor.

Versão original (e nacional): 1 PV/dois gados ao final do jogo + 1PV adicional/gado pelo Mercador. 
Versão atualizada (em inglês): 1 PV/dois gados ao final do jogo + 1PV adicional/dois gados pelo Mercador (na prática ele dobra seus pontos por gado)

Um exemplo claro: o jogador verde terminou o jogo com 5 gados e o Mercador na tripulação.
-Antes da mudança: 2 PV a cada dois gados (o quinto não conta) + 5 PV por cada gado (pelo Mercador) = 7 PV
-Depois da mudança: 2 PV a cada dois gados (que é a pontuação normal) + 2 PV a cada dois gados (pelo Mercador) = 4 PV

Tem lá na BGG um tópico sobre isso caso queiram saber mais.

Isso que o pessoal falou: o trabalhador é da cor que você acabou de usar pra ativar a carta (colocando ou tirando do tabuleiro). O designer esclareceu essa dúvida no BGG.

Parabéns pelas respostas. Fui lendo e as duas únicas dúvidas das mesas que tivemos, foi exatamente nesta carta. 

Obrigado.