Tomar café

Hola, tengo 27 semanas y desde el 4to mes de embarazo tomo diario café con leche la medida es media taza por la otra media taza de leche la verdad mi doctor no me lo prohibió por completo pero hace unos días mi esposo me dijo deberías de dejarlo de tomar y nunca me he sentido mal o así pero ya me metió miedo que me recomiendan ? Muchas gracias