Carl Gustaf polnud veel aastanegi, kui lennuõnnetuses hukkus tema isa. Poiss jäi ema ja nelja vanema õe hoole alla. Ema kolis lastega Stockholmist välja Haga lossi, ühiskondlikust elust ja üritustest hoidus nii palju kui sai.

Vanaisa Gustaf VI Adolf sai kuningaks 1950. aastal, olles juba tublisti üle kuuekümne. Nii kasvaski Carl Gustaf üles suuresti naiste käe all. Vanaisa võttis oma kuningakohustusi tõsiselt ja lapselapse jaoks ei jäänud eriti aega. Eks see jättis tulevasele kuningale oma jälje, temast kasvas häbelik ja tagasihoidlik mees. Oma jälje jättis ka düsleksia. Noor prints ei olnud võimeline normaalselt etteütlust kirjutama või grammatiliselt õiget teksti koostama. Kõigest hoolimata lõpetas ta ülikooli.