Ο Πίτερ Αλεξάντερ Μπάρον φον Ουστίνοφ γεννήθηκε στις 16 Απριλίου 1921 στο Λονδίνο. Ο πατέρας του Ουστίνοφ, Ιόνας, ήταν υπολοχαγός στη Λουφτβάφε, ενώ αργότερα έλαβε τη βρετανική υπηκοότητα και εργάστηκε για την MI5. Ο Ουστίνοφ είχε επίσης ρώσικη, ελβετική, αιθιοπική, γαλλική και ιταλική καταγωγή. Η μητέρα του Ναντέζντα Λεοντίεβνα “Νάντια” Μπενουά ήταν ζωγράφος.