¿Error en mi libro? Demasiado/demasiada

Hola. En mi libro hay una frase y tengo que eligir la forma adecuada del adjetivo:

La oficina de correos es demasiado (pequeño/pequeña).

La respuesta es pequeña pero estoy confudida porque la palabra demasiado es masculino – ¿Debe ser la oficina de correos es demasiada pequeña, no?

Muchas gracias.