Nació en Buenos Aires el 20 de agosto de 1906, en el seno de una familia tradicional cuyo bisabuelo, Vicente Rosa, había llegado desde España en 1828. Su abuelo, José María, abogado de prestigio, fue Ministro de Hacienda de la administración de Julio Roca y de Roque Sáenz Peña. Su padre, también llamado José María Rosa fue un militar que se desempeñó como interventor federal de facto de la provincia de Mendoza tras la revolución de 1930.
Se recibe de abogado a la temprana edad de 20 años y luego de un breve paso de ejercicio de la profesión y luego como juez de instrucción se dedica a la enseñanza, tanto en cátedras universitarias como secundarias. De su experiencia como Juez en Santa Fe sale su primer libro «Más allá del código».
En 1931 contrae matrimonio con María Luisa Julia Delfina Bunge, con quien tuvieron tres hijos y una hija, llamados José María, Eduardo Manuel, Juan Ignacio y Lucila.