Budowę rozpoczęto w drugiej połowie XV w. z inicjatywy Jana Amora Tarnowskiego, właściciela miasta, specjalisty w dziedzinie obronności, co ma znaczenie także i dla tego kompleksu, nazywanego w źródłach nie przez przypadek "zamkiem".

- To była prawdziwa forteca obronna. Miejsce ufortyfikowane bardziej niż sam Tarnów - twierdzi R. Nijak. Na dowód pokazuje ponadmetrowej grubości mury, które pełniły funkcje obronne, i fragment zachowanej strzelnicy. Opowiada o pracach wykopaliskowych, jakie na pl. Morawskiego w latach 2001 i 2002 oraz w 2015 roku przeprowadził Eligiusz Dworaczyński.

Badania ujawniły istnienie na tym miejscu rozbudowanych fortyfikacji obronnych pochodzących najprawdopodobniej z I połowy XVI w. Fortyfikacje murowane z cegły składały się z dwóch prostokątnych bastei orientowanych na północ i wschód. Każda z nich posiadała otwory strzelnicze i korytarze prochowe prowadzące do zabudowań kościelnych.

- W kronice klasztornej istnieją zapisy, że na tym obszarze przez 30 lat zamontowane były na stałe dwie armaty, które później stąd ewakuowano do Krakowa, prawdopodobnie w celu obrony miasta przed Szwedami, na co wskazuje data ich transportowania - 1655 rok - mówi R. Nijak.

Ostatnim z konserwowanych tu przez niego reliktów są kute, metalowe drzwi pochodzące zapewne ze starego klasztoru bernardynów, a dziś zamontowane wtórnie w budynku przy ul. Bernardyńskiej 24. - Takie drzwi budowano w miejscach, które broniły dostępu do czegoś cennego, normalnie byłyby drewniane - wyjaśnia konserwator. - Nosiły ślady po mocnych uderzeniach. Ktoś kiedyś z pewnością próbował je sforsować. Być może te ślady mają związek z jednym z dwukrotnych najazdów Szwedów? Nie wiadomo. To tylko hipoteza, ale takie skojarzenie nasuwa się pod wpływem czytanych opisów, jak to Szwedzi wyłamywali poszczególne drzwi klasztoru, wkradli się nawet do zakrystii.