Inizialmente i frati abitavano in grotte, dove si estraeva la pietra da costruzione e vi fu rinvenuta una statuetta della Madonna in pietra, per cui ebbe il titolo di S. M. della Cava. Nel 1518 si trasferirono in città nella via "delli Santi". Nel 1650 il convento, ancora in costruzione, aveva 10 camere finite; la chiesa fu iniziata nel 1633. Gli introiti erano dati per lo più da censi, livelli e questua. Apparteneva agli Agostiniani conventuali.