В самом начале на этом месте стояла деревянная дача, владельцем которой был неизвестный генерал, участник русско-турецкой войны тысяча восемьсот семьдесят седьмого – тысяча восемьсот семьдесят восьмого годов. Из неясных романтических побуждений, он назвал ее «Замком любви». Именно это строение изображали на своих холстах такие художники, как Айвазовский, Лагорио и Боголюбов.
После генерала замок сменил еще нескольких хозяев. Свое нынешнее название – «Ласточкино гнездо», он приобрел во времена владения Марии Рахмановой.
Современный вид здание приобретает благодаря немецкому нефтепромышленнику барону фон Штейнгелю. В тысяча девятьсот двенадцатом году, по проекту талантливого зодчего Леонида Шервуда, вместо деревянной дачи, строится миниатюрный замок в готическом стиле.