Aníbal Troilo nació en la calle Cabrera 2937, entre Anchorena y Laprida (en pleno barrio del Abasto) pero desde los ocho años de edad (después de la muerte de su padre) vivió en Soler 3280, entre Gallo y Agüero.
Sus padres se llamaban Felisa Bagnoli (hija de Marco Bagnoli Giaccio y Maria Raffaella Sammartino, de Agnone, en Campobasso, hermanos Americo, Nicolás, Arsenio, Carmelo, Anunciación y Ernesta) y Aníbal Troilo (hijo de Quirino y Concepción, de Archi, en Chieti). Se habían casado en la iglesia de Balvanera el 11 de noviembre de 1909. Los apellidos de la familia materna incluyen entre otros: Busico, d’Agnillo, di Curtis, Santarelli y La Banca. Su padre le pondría el seudónimo de Pichuco, nombre por el cual llamaban a uno de sus mejores amigos; el apodo podría ser una deformación del napolitano picciuso que significa «llorón». Tuvo dos hermanos, un varón, Marcos, y una mujer, Concepción, que murió de corta edad.
Durante su niñez, Troilo escuchaba tocar el bandoneón en los bares de su barrio. A los 10 años convenció a su madre para que le comprara su primer bandoneón. Felisa lo compró a 140 pesos de entonces, a pagar en 14 cuotas de 10 pesos; pero luego de la cuarta cuota el vendedor desapareció y nunca reclamó el resto.
Con ese bandoneón, Troilo tocó casi toda su vida.
Un año después, en 1925 (cuando contaba con 11 años de edad) Pichuco realizó su primera actuación, en un bar pegado al Mercado de Abasto (el mercado central de frutas y verduras de Buenos Aires). Más tarde integró una orquesta de señoritas. A los 14 años ya había formado un quinteto.
Estudió hasta tercer año en la prestigiosa Escuela Superior de Comercio Carlos Pellegrini.
En diciembre de 1930 fue contratado para formar parte del famoso sexteto del violinista Elvino Vardaro, el pianista Osvaldo Pugliese y Alfredo Gobbi (hijo) (quien era apenas el segundo violín del conjunto, pero más tarde se haría célebre como director de orquesta). Allí tuvo como compañero a Ciriaco Ortiz, de quien Troilo más adelante se consideraría deudor. Ese sexteto no realizó ninguna grabación discográfica.
Troilo pasó por numerosas orquestas, entre otras, las de Juan Pacho Maglio, Julio de Caro, Juan D’Arienzo, Ángel D’Agostino y Juan Carlos Cobián.
Con su orquesta (cuyos integrantes fueron variando muchísimo) trabajó casi ininterrumpidamente, tanto en presentaciones en vivo como en grabaciones, hasta el año de su muerte, 1975. Desde 1953 hasta mediados de los años 60, Troilo mantuvo durante un tiempo una actividad musical paralela a la de su orquesta en dúo junto al guitarrista Roberto Grela, que después se convirtió en el Cuarteto Troilo-Grela. En 1968, ya distanciado de Grela, formó su propio cuarteto. Además de esto, Troilo grabó dos temas (El motivo y Volver) a dúo de bandoneones junto a Ástor Piazzolla.Aníbal Troilo (en el centro, con el bandoneón). Luego, de izquierda a derecha: Osvaldo Fresedo, José Razzano, Francisco Canaro y Enrique Santos Discépolo, en 1944.
En 1938 se casó por civil con la griega Zita (Ida Dudui Kalacci). Cuando su madre Felisa murió, como homenaje la pareja se casó por iglesia. (En realidad, Pichuco se fue a vivir con Zita recién tras la muerte de su madre).
La muerte de su mejor amigo, el poeta Homero Manzi (1907-1951), le produjo una profunda depresión que duró más de un año. En su memoria compuso el tango Responso. En 1971 (en conmemoración de los veinte años del fallecimiento del poeta) Troilo inauguró la plaza Homero Manzi.
Diversos historiadores sindican a Troilo como adicto al alcohol y a la cocaína, siendo él quien sugiere el agregado de letra al tango «Los Dopados».
El Bandoneón Mayor de Buenos Aires murió el 18 de mayo de 1975 en el Hospital Italiano, a causa de un derrame cerebral y sucesivos paros cardíacos; se encuentra sepultado en el Rincón de los Notables del cementerio de la Chacarita, al lado de Agustín Magaldi y Roberto Goyeneche.