In Marsa Alam ist es - wenn überhaupt - 2-3 Grad wärmer, das dürfte nicht so ausschlaggebend sein. Das Meer ist dort aber eher frischer als in Hurghada und es ist definitiv windiger (im Januar und Februar sind die Winde am kältesten).
Z.B. im Three Corners Fayrouz (Marsa Alam) gibt es einen sehr warmen Pool und einen normal beheizten. Der sehr warme Pool ist für kleine Kinder optimal. Tagsüber ist es überwiegend angenehm warm und man kann baden, abends ist es teilweise sehr frisch (Daunenjacke!). Natürlich kann man keine 100%igen Wetterprognosen abgegeben aber eine Richtlinie schon. Wir waren öfter Ende Dezember bis Mitte Januar in Ägypten und das Wetter war so, wie vorab beschrieben. Als "Frostbeule" würde ich wohl eher mit kleinem Kind April, Mai oder Ende Oktober bis November wählen.