Según hacen constar los visitadores de la Orden de Santiago en su visita canónica el año 1508ª, esta ermita estaba como a una legua de la villa, era un oratorio cuya mayordomía ostentaba Juan Jiménez, en poder de quien dejó la anterior visita –según se vio en el libro correspondiente- la cantidad de 3.971 maravedises. Declaró que había recibido 403 maravedises en concepto de limosnas, y que en la fábrica de la ermita había invertido cinco cahices de cal y 1.000 ladrillos, por lo que presentó un alcance del orden de los 3.334 maravedises y medio. Tras informe que los visitadores obtuvieron en razón de la competencia y honradez del referido mayordomo, fallaron que continuase en el cargo, con obligación de que hasta el día de la Virgen de Agosto, como fecha límite, invirtiera la totalidad del dinero en obras de reparo y edificación de la ermita, so pena de 2.000 maravedises para el mismo fin.
Tal vez esta advocación de “la Calera” se refiriera, en realidad, a la Virgen de Tentudía, radicada, como se sabe, en la localidad de aquel nombre.