La Chiesa di San Giovanni Battista, un tempo dedicata a S. Agostino, è stata fondata dagli Eremitani di San Agostino che qui stabilirono la loro sede sin dal 1373. Quest'ultima fu poi soppressa da Innocenzo IIInel 1652 insieme a tutti gli altri conventi d'Italia “poveri di sostanze e di individui”.
Sul lato sinistro della chiesa una lapide in caratteri gotici indica la data del 1391 come l’anno dei probabili restauri resi possibili dalla volontà di Giovanni Jacopi, un notabile di Montemonaco che qui ha lasciato le sue spoglie. I Padri Agostiniani allora avevano il loro convento nel fabbricato annesso alla chiesetta. Questi non solo officiavano in San Giovanni ma aiutavano anche il parroco di San Biagio nella cura delle anime.
In questo piccolo ed elegante tempietto solo i nobili del paese potevano partecipare alle funzioni religiose e lasciarvi le loro spoglie. Dopo la soppressione dell'Ordine degli Eremitani le rendite di questa chiesa furono aggregate alla parrocchia di Ferrà il cui parroco da quel momento venne ad abitare nel capoluogo assumendo il titolo di Priore. Per questo motivo fino a qualche tempo fa questa era chiamata "La chiesa di Ferrà". Originariamente oltre l'altare maggiore vi erano t'altare dedicato a San Carlo Borromeo, quello della Beata Concezione e l'altare dedicato a San Francesco di Paola. Attualmente vi è solo l'altare maggiore dove un tempo era sistemata l'artistica tela intitolata " La Vergine del Soccorso" (1521) opera insigne del pittore Giulio Vergari di Amandola che si impose all'attenzione del Professore Giulio Cantalamessa (1846 1924) di Ascoli Piceno, uno dei più famosi estimatori d'arte nell'Italia di fine Ottocento. La tela, per lunghi anni in custodia presso il Vescovado di Montalto, tornerà presto nella chiesa di San Giovanni Battista per poter essere ammirata dai visitatori.
Un altro importante quadro collocato in questa chiesa è quello rappresentante l' "Immacolata" il cui committente fu il Conte Camillo Garulli del Duce Domenico; questo prese parte alla battaglia di Lepanto quale Comandante di una galea veneta. La nave vi è rappresentata a vele spiegate e vi è raffigurato il nobile committente. Il quadro è firmato “ Tobias Cecchinius Aquilanus pingebat MDLXXXX “ e reca l'antico stemma dei Garulli “di azzurro ai tre monti d' oro, sormontati dall'aquila incatenata d'argento”. Dell'impianto originario resta il tetto a capanna sorretto da travature lignee, l'abside in stile gotico e una leggiadra finestra ogivale dietro un baldacchino in muratura innalzato molto probabilmente nel Settecento.
"Sembra viva, in questo Oratorio, l'eco di una razza di cavalieri belli e audaci che, al servizio di Dio e della civiltà, combatterono e vinsero i Turchi e, alle galee dei nemici strapparono i simboli di vittoria, per decorarne l'ara sacra del loro protettore".