В 1783 году после присоединения Крыма к Российской Империи на месте будущего дворца было поместье. Им владели поочерёдно Карл Нассау-Зиген, Софья Потоцкая, Ольга Нарышкина и Семён Воронцов.
Граф Воронцов в 1881 году пожелал построить здесь дворец в стиле рыцарских замков. Руководить строительством назначили французского архитектора Этьена Бушара. В 1882 году граф умер, строительство дворца заморозили.
В 1889 году Удельное ведомство империи приобрело дворец для императора Александра III. Строительство продолжили под руководством Максима Месмахера. Он изменил первоначальный проект, добавил декоративные элементы в стиле Людовика XIV.
В 1894 году император Александр III умер. Строительство дворца закончили при его сыне — императоре Николае II. Он использовал дворец как загородную резиденцию, отдыхал здесь после верховых прогулок и выездов на охоту.
После революции здание национализировали. До 1941 года здесь находился туберкулёзный диспансер.
После войны здесь располагался корпус института виноградарства и виноделия «Магарач». В 1948 году здесь устроили правительственную дачу. На даче в разные годы отдыхали Иосиф Сталин, Никита Хрущёв, Леонид Брежнев, Михаил Горбачёв и Хо Ши Мин.
В 1992 году во дворце открыли музей императорской династии Романовых.
Сегодня в музее можно увидеть воссозданную обстановку царской резиденции. Большинство экспонатов — подлинные вещи царской семьи. Их прислали из Зимнего дворца Санкт-Петербурга.