Юбер Джеймс Марсель Таффен де Живанши родился в феврале 1927 года в небольшом городе Бове на севере Франции. Точная дата до конца не ясна — в некоторых источниках называется 20 число, в некоторых — 21-е.
Юбер был младшим сыном в семье аристократов. Семья получила высокий статус в 1713 году. Отец дизайнера, маркиз Люсьен Таффен де Живанши был летчиком, им же сначала и мечтал стать Юбер.
Мама, Беатрис Баден, была дочерью художника по костюмам и администратора «Мануфактуры Бове», Жюля Бадена. Старший брат Юбера, Жан-Клод де Живанши, впоследствии унаследовал титул семьи и стал президентом Parfums Givenchy.