Oma eraelu hoidis „Harry Potteris“ Dumbledore’i kehastanud filmistaar kiivalt varjatuna ning sellel oli ka kindel põhjus - näitleja jagas elu kahe naise vahel. Pärast tema surma mainiti artiklites, et Gambon oli 60 aastat abielus matemaatiku Anne Milleriga, kes olevat olnud ka mehe surivoodi kõrval koos nende ühise poja Fergusiga. Kuid Briti kõmumeedia andmetel oli nende pika liidu saladuseks see, et Gambon elas aastakümneid kaksikelu, millest olid teadlikud kõik osapooled.

Näitleja ja tema seaduslik abikaasa olevat olnud endiselt väga lähedased vaatamata sellele, et näitlejal oli alates käimasoleva sajandi algusest suhe ka võttepaikasid disainiva sisekujundaja Philipa Hartiga. Naine, kes on Gambonist 25 aastat noorem, sünnitas mehele nende suhte ajal kaks poega, kes on hetkel teismelised.