Františkánsky kláštor pochádza z roku 1492, Kostol Všetkých svätých je staršieho dáta. Obidva objekty majú gotický základ s renesančno-barokovými úpravami. Kostol i kláštor využívali členovia rádu františkánov nepretržite až na obdobie reformácie, kedy na istý čas patril evanjelickej cirkvi a. v.. V druhej polovici 16. storočia bola v kláštore zriadená kníhtlačiareň Valentína Manckoviča, jedna z prvých na Slovensku. V roku 1601 v budove kláštora zriadil Stanislav Turzo trojjazyčné gymnázium. V prvej polovici 17. storočia sa postarali majitelia mesta - Forgáčovci, o rozsiahlu prestavbu a opravu kláštora. Budova je štvorkrídlová, južným krídlom napojená na priľahlý kostol Všetkých svätých. Cenným priestorom kláštora je refektár, pochádzajúci zo 16. storočia a tiež slnečné hodiny na severnej stene vnútorného dvora kláštora zo 17. storočia. Vybavenie interiéru kostola Všetkých svätých je zväčša barokové.