Precisa ir aos poucos (isso esta escrito no manual em algum lugar). Inclusive uma das Cartas te permite ir direto pra pedra.

Vc precisará usar a ação de reforma 2 vezes.
Uma para argila e outra para pedra.
Se vc tiver os recursos para pagar a reforma para argila e depois para pedra de uma só vez, vc não poderá fazer com uma só ação de reforma.

Vc tbm precisará reformar todos quartos de uma só vez, sempre que ir na ação de reforma.
E quando construir um quarto novo, vc é obrigado a construir do tipo que sua casa está no momento, pagando o recurso do tipo correto.

Tem uma carta que deixa fazer isso se não me engano, mas em outros casos, só uma evolução por ação

Conservator (E200) permite converter sua cabana de madeira em casa de pedra. Mas você não converte um cômodo. Você precisa converter tudo. Segue a página 5 do Manual:

Para a primeira reforma (de uma cabana de madeira a uma cabana de barro) será necessário o tanto de argila que houver de quartos na moradia que está sendo reformada, junto com 1 junco (para o telhado). Em seguida as fichas de quarto de madeira são viradas de modo a mostrarem um quarto de argila. Para a segunda reforma (de uma cabana de barro para uma casa de pedra) será necessário o tanto de pedra que houver de quartos de argila na moradia que está sendo reformada, mais 1 junco. Em seguida, as fichas de quartos de argila são trocadas por fichas de quartos de pedra. Uma cabana deve ser reformada sempre por completo. Não é possível optar por reformar apenas alguns quartos.