Naistelehele antud intervjuus teatas Ilves, et on oma pere must lammas, kelle pärast vanemad ja tõeliselt häbi on tundnud. "Kui tuli uudis, et läksin kolmanda poja isast lahku, see oli Õhtulehe kaanel, ostis mu ema Juurus kõik Õhtulehed ära, et keegi seal seda lugeda ei saaks."

Hiljuti teatasid Ilves ja Paul Neitsov, et on teineteist leidnud, kuid ei soovi kolimise ja suhtega kiirustada. "Kui sa küsiksid, kus ma tahaksin aasta pärast olla, ütlen ausalt: (sosistades) – ma ei tea!"

Ilvesel on endiste elukaaslastega kokku neli last. Esimese elukaaslase Kaarliga on Ilvesel kaks poega, kaheksa-aastane Stefan ja seitsme-aastane Tristan. Teise elukaaslase Jukkaga on musikul kolme-aastane poeg Maximilian. Kolmanda elukaaslase Jaaguga jagab Ilves 10-kuust poega Arthurit.

Neitsovil on endistest kooseludest kaks tütart.