Tomasz Ostrowski herbu Rawicz, podskarbi koronny i marszałek Sejmu Czteroletniego wybudował na początku XIX wieku drewniany pałac na miejscu ruin średniowiecznego rycerskiego zamku w Ujeździe. Jego synowie Antoni i Władysław Ostrowscy w latach 1810-13 na miejscu drewnianego pałacu wznieśli istniejący do dziś neogotycki murowany pałac. Ze względu na ich aktywny udział w powstaniu listopadowym rząd carski skonfiskował im cały majątek. Wyemigrowali więc do Francji. Syn Antoniego – Stanisław wykupił w 1869 z rąk rosyjskich park i pałac a następnie wyremontował go i przekształcił na styl neogotycki. Miało to miejsce w latach 1882-86. Odnowiona budowla służyła Ostrowskim aż do II wojny światowej, będąc kolejno własnością Juliusza i wreszcie ostatniego rodowego właściciela – hrabiego Jana Krystiana Ostrowskiego. Po II Wojnie Światowej majątek upaństwowiono. Pałac stał się częścią PGR-u, co doprowadziło do jego dewastacji. W 1957 opiekunem i użytkownikiem obiektu został Związek Harcerstwa Polskiego, który do roku 2001 prowadził tu ośrodek szkoleniowy, organizując kolonie i obozy. Obecnie jest on własnością prywatną. Park ma powierzchnię ok. 14 ha
Rodzina Ostrowskich była założycielami oddalonego od Ujazdu zaledwie o 10 km Tomaszowa Mazowieckiego.