Kiedy wzniesiono pierwszą kaplicę i z jakiego powodu, dostępne archiwa nic nie mówią. Wiadomo, że był to obiekt drewniany i służył wiernym około 200 lat. Kolejna murowana kaplica stanęła w miejscu poprzedniej w XVIII w. z fundacji młynarza Szymona Tyrko z Borowca. Według zachowanego opisu z 1830 r. dowiadujemy się, że: „… kapliczka murowana gontem kryta, mająca długości łokci 9, szeroka 7, wysoka 5 nazwana Pocieszna Górka…”. „… Fundator Tomasz Tyrko, młynarz, postawił także swoim kosztem chałupę drewnianą, częścią słomą, częścią gontem okrytą w której teraz mieszka Mateusz Plucienikowski z jałmużny tylko żyjący…”. Tu warto nadmienić, że samotnik mieszkający w chałupie opiekował się kapliczką. Trwało to do roku 1864, kiedy to pustelnia wraz działką została zabrana przez rosyjskie władze zaborcze "na rzecz skarbu państwa”.