En 1944, Bayley, junto a Gyula Kosice, Carmelo Arden Quin y Rhod Rothfuss forma parte de la redacción del único número de la revista Arturo, que será la piedra fundacional en Argentina del movimiento de arte concreto que había comenzado hacia 1930 en Europa. Con su hermano Tomás Maldonado, Rhod Rothfuss y Arden Quinn escriben manifiestos sobre el invencionismo, oponiéndose a todo realismo artístico, expresionismo o simbolismo. En 1946, es integrante de Arte Concreto-Invención, revista en la que publica en su primer número poemas y un artículo sobre poesía afirmando que no es una representación de la realidad sino un hecho mental, postulando una forma diferente de la expresión poética.
Destacado poeta, elabora un universo que escapa a las convenciones poéticas habituales en su tiempo. Entre sus obras, sobresalen: En común (1949), La vigilia y el viaje (1958), Ni razón ni palabra (1961), El día (1968). En Celebraciones (1976) reunió todos estas obras. En 1981 publica Nuevos poemas y, en 1982, Alguien llama y una Antología poética con prólogo de César Fernández Moreno. Como ensayista publicó Realidad interna y función de la poesía (1966) y Estado de alerta estado de inocencia (1989); también publicó cuentos en Vida y memoria del doctor Pi y otras historias (1983); y obras teatrales como: Burla de primavera (1951), Farsa del sopete y el sastre (1951) y Dulioto (1953).
En su muy larga trayectoria, además de colaborar en distintas revistas culturales lo hizo en diarios como Clarín, La Prensa, La Nación y La Opinión, entre otros. Trabajó como bibliotecario y en la secretaría de cultura durante la presidente de Arturo Frondizi. En 1977 recibió el Gran Premio de Honor de la Fundación Argentina para la Poesía