Пауль Тылныньш родился 22 марта 1903 года в Курляндской губернии России в крестьянской семье. Член компартии Латвии с 1920 года.
Учился в университете в Риге, затем, спасаясь от преследования властей, переехал во Францию, где в 1925—1926 годах учился в Парижской Политехнической школе.
Во время своего пребывания во Франции сменил имя и фамилию, стал Полем Арманом. С 1926 г. эмигрировал в СССР, где вступил в РККА.
Сначала учился на пехотного командира, потом стал танкистом. Командовал танковым взводом, ротой, батальоном. В 1935 году учился на курсах усовершенствования при Военной академии механизации и моторизации РККА.