Nació el 9 de septiembre de 1927, y a los 14 días de vida fue llevado al Paraje Estancia Caimán, Tercera Sección, del Departamento de Concepción en la Provincia de Corrientes, Argentina. Hasta los 15 años de edad vivió entre esteros, lagunas, palmeras salvajes y los gauchos más arcaicos que aún quedan en la Cuenca del Plata. En este escenario pasó su infancia marcado por el idioma guaraní que nunca dejó de hablar ni bien llegado a su tierra. Viajó a Buenos Aires para completar sus estudios y residió allí, alternando con largas temporadas en el campo, sin perder nunca el contacto con Corrientes.
Era hijo de Francisco Aurelio Madariaga, graduado en Medicina Veterinaria en la Universidad de La Plata, nacido en el pueblo correntino de Concepción y de Margarita Pallette, maestra, porteña del barrio de Floresta.
En 1947 conoció al narrador Gerardo Pisarello, a quien visita por primera vez en su casa de Saladas, Corrientes, que marcará el inicio de una profunda amistad.
En Buenos Aires en 1951, se vinculó con los surrealistas poetas, pintores, escultores, cineastas y músicos que se nuclearon para publicar la revista Letra y Línea, cuyo primer número apareció en 1954 bajo la dirección de Aldo Pellegrini.
Esta experiencia constituye una apertura hacia una búsqueda personal de intenso lirismo, que implicó un regreso al mítico cosmos de su infancia, “centro de su universalidad”.
Desde 1954, año en que apareció su primer libro de poesía El pequeño patíbulo, se suceden 18 obras, entre las cuales se destacan Las jaulas del sol (1959), El delito natal (1963), Los terrores de la suerte (1967), El asaltante veraniego (1968), Tembladerales de oro (1973), Llegada de un jaguar a la tranquera (1980), Resplandor de mis bárbaras (1985), El tren casi fluvial (segunda obra reunida 1988), País garza real (1997), Aroma de apariciones (1998), Criollo del universo (1998), Solo contra dios no hay veneno (1998).
Sus poemas han sido publicados en importantes Antologías de Latinoamérica y Europa y traducidos al inglés, francés, alemán, sueco, portugués e italiano, entre ellas Poesía Argentina (Instituto Torcuato Di Tella, 1963), Antología viva de la poesía latinoamericana (España (1966), Contemporany Poetry Argentine and Antology (bilingüe 1969), Poeti Ispanoamericani Contemporanei (Italia 1970), Moderne Argentiniche lyric (Alemania, 1975), Poesía Nueva Latinoamericana (Perú, 1981), Antología de la Poesía Hispanoamericana (México, 1985), La Nueva Poesía Argentina Contemporánea (español-italiano, 1988).
Colaboró desde joven en prestigiosas revistas y diarios de su país y del exterior (como Clarín y La Nación de Buenos Aires, y diarios del interior), en revistas del exterior (como Cuadernos Hispanoamericanos de Madrid, Eco de Bogotá, Zona Franca de Caracas, Periódico de Poesía de la Universidad Nacional Autónoma de México), y en los diarios El Universal y El Nacional de Caracas, El Espectador de Bogotá, Presencia de Bolivia, etc.).
Ha obtenido premios importantes a partir de 1963, entre ellos se destaca el Premio Nacional de Poesía en el 2005, por la obra correspondiente al período 1996-1999 y el Premio Konex – Diploma al Mérito 1994, entre otros. Ha escrito obras en prosa y concurrido como invitado a Congresos y Reuniones Literarias Internacionales y de su país.
Tuvo dos hijos de su primer matrimonio con Amalia Cernadas, Gaspar Hernán y Florencia Natalia; de su segundo matrimonio con Elida Manselli a Lucio Leonardo.