Дин родился в небольшом городке в Индиане, а вскоре, когда его отца, зубного техника, перевели в больницу в Санта-Монику, он вместе с родителями переехал в Калифорнию.
Когда мальчику было девять лет, его мать умерла от рака шейки матки, и Джеймса отправили обратно в Индиану к дяде и тете, которые жили на ферме в Фэрмаунте.
С этого момента Дин редко виделся с отцом и практически перестал с ним общаться.Двоюродный брат описывал молодого Дина как «никогда не сидящего на месте».
Так и было. Как-то раз ему выбили два передних зуба, когда он раскачивался на трапеции в сарае тети и дяди (позже Джеймс приукрасил историю, сказав, что потерял их в аварии на мотоцикле).