Het paleis is ontworpen in 1760 door architect Pieter de Swart. Koningin- Emma kocht het in 1896. Ze woonde er vanaf 1901, en verbleef er voornamelijk in de winter. Daarom staat het paleis ook wel bekend als het ‘Winterpaleis’.