De eerste keer dat het landgoed werd genoemd was in 1317 als eigendom van de familie Spierinc. In 1455, in een leenbrief afgegeven door Johanna van der Leck, werd gesproken van een “sloottien ter plaetse genaemt de Buegde” en werd melding gemaakt van heerlijke rechten, waaronder het recht van zwanendrift. Sinds ongeveer 1650 wordt het daarom Zwanenburg genoemd.

In 1835 werd het landgoed op een openbare veiling gekocht door Jonkheer Josephus Franciscus de Kuijper (bet-bet-overgrootvader van de huidige eigenaar). Het landgoed is lange tijd leenroerig geweest aan de heer van Heeswijk en Dinther.

Het huis is in fasen gebouwd. Het oudste nog bestaande gedeelte (gebouw met trapgeveltje) is vermoedelijk tussen 1500 en 1520 gebouwd als “Steenen kaemer”, dat wil zeggen dat het niet voor permanente bewoning werd gebruikt, maar diende als onderkomen voor de landgoedeigenaar, die elders woonde en elk jaar enige tijd daar verbleef om met zijn pachters te overleggen en zijn goed te beheren.

In de eerste helft van de 20ste eeuw werd de buitenplaats Zwanenburg verhuurd aan de familie Van Boetzelaer. Deze familie heeft er tijdens de Tweede Wereldoorlog meerdere onderduikers gehuisvest, waaronder de bekende schrijver Leonard de Vries (1919-2002). Tijdens zijn onderduikperiode schreef hij het boek De jongens van de hobby club.

Zwanenburg is rijksbeschermd als  ‘complex historische buitenplaats’ met  diverse complexonderdelen.