Pierwsza udokumentowana wzmianka o parafii Korzenna pochodzi z lat 1357−1358 z wykazu świętopietrza, co oznacza, że musi być starsza o co najmniej 10 lat. To zaś pozwala sądzić, że została erygowana w 1348 roku, równo z lokacją tej wsi przez króla Kazimierza Wielkiego. Patronami tutejszych kościołów było Jedenaście Tysięcy Dziewic, św. Jan Chrzciciel, św. Urszula z Towarzyszkami, której kult do dziś jest żywy, Matka Boża Szkaplerzna. To Jej łaskami słynącego obrazu nie udało się uratować z pożaru drewnianej świątyni, która spłonęła w 1952 roku. Feralny dzień do dziś żyje w pamięci miejscowych parafian. Nowy kościół wierni wznieśli ku Jej czci na miejscu starej świątyni, cmentarza, kaplic grobowych – uświęconym wiarą wielu pokoleń szlacheckich rodów i prostych ludzi.