Az ötvenes években még iskolát terveztek ide, majd a hatvanas évek elején Matthias Rex néven álmodtak ide szállodát, végül azonban 1968-ban a Hiltonnal állapodtak meg: a magyar fél építi fel és üzemelteti a szállodát, a szállodalánc pedig beleadja a "Hilton technikát" - azaz lényegében egy korabeli franchise modellt kapott a magyar fél. Az új szálloda tervezőjének ezekkel az adottságokkal kellett számolnia.
A hetvenes évek elején készült fotón a a torony egyik oldalán üres telek, a másik oldalán egy állva maradt homlokzati fal látszik (fortepan.hu, 28851, Lechner Nonprofit Kft. Dokumentációs Központ)