Sul colle che si eleva, in parte per eventi naturali, in parte per opera umana, fra le vie Castiglione e Farini, nel X secolo sorgeva una chiesa rotonda o poligonale, chiamata di S. Giovanni Evangelista in Monte Oliveto. La sua intitolazione richiamava la devozione dei cristiani verso i luoghi della Terrasanta che avevano visto la morte e la resurrezione di Cristo: in questo caso appunto il Monte degli Olivi, dove avvenne l’Ascensione al cielo. Inoltre nella navata principale della chiesa si trova ancora una colonna di marmo con un capitello romano di stile corinzio, sul cui fusto furono scolpite crocette paleocristiane.
La colonna sorregge una croce scolpita di fattura longobarda, rinnovata in età carolingia: tutto ciò attesta che probabilmente già dai primi secoli dell’era cristiana sul colle si trovava un edificio di culto. Nell’alto Medioevo si ha notizia di un monastero, presumibilmente benedettino, insediato presso S. Giovanni Evangelista. Presso di esso, nel corso del Medioevo e anche oltre, la domenica precedente la Pasqua, detta delle Palme, si svolgeva una cerimonia, durante la quale i monaci di S. Stefano, seguiti dai fedeli, salivano fino alla chiesa di S. Giovanni in Monte, da cui riportavano le palme benedette.