Настоящая фамилия художника была Брюлло, его предки были выходцами из Франции. Павел Брюллов – отец художника был дважды женат. От второго брака с дочерью придворного садовника Марией Ивановне Шредер появились на свет четыре сына – Александр, Карл, Павел, Иван и две дочери – Мария и Юлия. Все сыновья были талантливы и учились в Академии Художеств.