Eu também acho que seja permitido apenas na fase de alimentação, especialmente por estar especificada nessa parte do manual. Até porque ele não fala em trocar um grão por um token de alimento e sim que os grãos valem como alimento, então você simplesmente anuncia que está pagando usando cereais ou legumes e gasta esses recursos.

Então, lendo somente a parte da Colheita, dá este entendimento mesmo. Contudo, encontrei a outra parte no manual que me fez gerar a dúvida, fica na parte que esta explicando as "Grandes Melhorias" (página 10), mais especificamente Fogueiras e Fogões a Lenha, é mencionado o seguinte:

"A qualquer momento, você pode trocar cereais—e legumes—na sua reserva por 1 alimento cada (veja a página 9), mas você receberá mais alimentos de cada cereal se você realizar uma ação "Assar Pão": cada cereal que você assar se transformará em 2 alimentos através de uma Fogueira e em 3 alimentos através de um Fogão a Lenha."

A página 9 do manual é a parte que fala da Colheita, que é justamente o que coloquei inicialmente como dúvida.

É a qualquer momento.
No FAQ do manual da edição original não respondia essa questão especificamente, mas responde outras perguntas que inferem na resposta:

Como fazemos por aqui:

Hortaliças e Cereais são usados para alimentar as pessoas apenas na fase de Alimentação. O manual ou apêndice não diz que se pode trocar hortaliça/cereal por ficha de prato de comida, exceto se eles forem cozidos/assados em fogão/forno. O manual ainda diz, na fase de Alimentação, que hortaliça/cereal é consumido cru, ou seja, não vale como prato de comida.

No BGA é a qualquer momento.