Mai, kissé leegyszerűsített homlokzatával már nem kelt akkora feltűnést a téren, pedig a Dísz tér 4-5. alatti palotának számos illusztris vendége és nemzetközi jelentősége volt egykor.
Ahogy az a Várnegyedben lenni szokott, e ház helyén is több kisebb állt a középkorban. Az első épületről tudjuk, hogy a 14. század második felében már állt. A 15. században az esztergomi káptalan tulajdonába került, aki bérbeadta egy Gáspár nevű vargának. Később Haischnaider Sebold, majd 1481-től Wirth János, a 16. század elején pedig Zeuch Tamás budai szűcs tulajdonolta, aki aztán 1523-tól zálogba adta a pozsonyi káptalannak. A ház északi szomszédja 1457-ben egy János nevű szűcsé volt, de 1481-ben már Polyák Péter nevén említették, majd 1523-ban Owary Altenburger Istváné volt. (A két házon kívül további építmények is álltak: az 1687. évi Hauy-féle helyszínrajzon két nagyobb és négy kisebb ház van feltüntetve.)