Karl Madisel ei ole naiste tähelepanust kunagi puudust olnud ja hoolimata valusatest lahkuminekutest on ta alati tõusnud taas jalgele ja leidnud uue armastuse. Kes saatis teda esilinastusel, jättis Karl džentelmenlikult mainimata. „See on minu hea tuttav,” sõnab Karl rõõmsameelselt, kuid nime osas jääb diskreetseks. Madise sõnul palus tema kaaslanna oma nime avalikkusele mitte teada anda.

Karl on olnud abielus kunagise ansambli Nemo solisti Kersti Rosenbergiga, neil on kaks poega. Teistest kooseludest on Karlil veel kaks last – üks neist on endine raadio- ja telesaatejuht Carola Madis, kes elas aastaid USAs.