Situado en la céntrica y bulliciosa Plaza de la Virgen, frente a la Basílica y la Catedral, fue declarado monumento histórico-artístico en 1931.
Está precedido por un agradable jardín de naranjos que, hasta el siglo XIX ocupó la antigua Casa de la Ciudad (el ayuntamiento). Es un edificio gótico, del siglo XV, arropado por dos torreones de los siglos XVI y XX. Su construcción comienza a cargo de Pere Compte, el arquitecto que también construyó la Lonja de mercaderes de Valencia.
El palacio es el inicio de la conocida calle de los Caballeros (carrer dels Cavallers): precisamente por ser una de las calles más amplias y bellas de la valencia medieval, hoy en día conserva buena parte de los antiguos palacios de la nobleza valenciana a un lado y a otro de la calle. Paseando por la calle Caballeros, descubrimos casi por sorpresa el acceso a una de las iglesias más bellas de la ciudad: la parroquia de San Nicolás, conocida popularmente como la Capilla Sixtina valenciana.