Nacida en el siglo XVI como Isabel Flores de Oliva, fue hija de Gaspar Flores, arcabucero natural de Baños de Montemayor34, municipio de la provincia de Cáceres (España) y de María de Oliva y Herrera, hilandera y costurera indígena [cita requerida], natural de Húanuco. Así lo asegura la placa en la casa de los Flores, la cual aún se conserva en dicho pueblo cacereño. En 1545, Gaspar salió de España, después de pasar por Puerto Rico y Panamá, que formaban parte del virreinato de Nueva España y Perú, respectivamente, Llegó al Perú en 1547 como soldado del pacificador Pedro de la Gasca quien restableció la Real Audiencia en 1549, recuperando el dominio de la Corona tras la usurpación del poder por Gonzalo Pizarro, gobernante del Perú entre 1544-1548. Gaspar Flores fue nombrado arcabucero el 9 de marzo de 1557, por don Andrés Hurtado de Mendoza, tercer virrey del Perú entre 1556-1561. El 1 de mayo de 1577, se casó, en Lima, con María de Oliva y Herrera. Ese mismo año servía de arcabucero en la guarda del 5º Virrey Francisco de Toledo (1569-1581).