Występują tu liczne formy krasowe – jaskinie (w tym: Jaskinia Niespodzianka, Zanokcica, Stalagmitowa, Za Kratą, Dwuwylotowa, Draba, Mała, Profesora Samsonowicza), leje i szczeliny. Wzgórze porastają murawy kserotermiczne i naskalne, w cienistych i wilgotnych szczelinach występuje wiele gatunków roślin wapieniolubnych. Po II wojnie światowej Góra Zelce należała do prywatnych właścicieli, prowadzących intensywną eksploatację wapienia i kalcytu, w wyniku czego bogate szaty naciekowe jaskiń uległy zniszczeniu. Obecnie obszar ten jest chroniony – w 1971 utworzono tu rezerwat przyrody "Węże", włączony później do Załęczańskiego Parku Krajobrazowego. Do roku 2002 znajdowała się tu drewniana wieża widokowa.