Jean Rivier est le fils du pharmacien Henri Rivier, co-inventeur du papier d’Arménie. De 1936 à 1940, avec Pierre-Octave Ferroud et Henry Barraud, Jean prend une part active au Triton, société de musique contemporaine, qui tente de réconcilier les différentes tendances de la musique française du XXe siècle.