Een oorkonde uit 1304 doet vermoeden dat er toen al sprake was van een goed Zwijnsbergen. De geschiedenis van het huidige kasteel begon echter in 1552. In die tijd werd op het landgoed een nieuw huis opgetrokken, dat de basis zou vormen voor het huidige hoofdgebouw.

Bij een verbouwing in 1817 heeft het kasteel een aantal verdedigingsonderdelen verloren. Onder andere de ommuring en een deel van de slotgracht zijn toen verdwenen. Hierdoor kreeg het geheel meer de allure van een landhuis.

In 2001 werd het bouwwerk door een brand grotendeels verwoest, maar een uitvoerige restauratie deed de historische buitenplaats Zwijnsbergen uit de as herrijzen.

In de parkaanleg zijn diverse landschappelijke elementen te vinden, zoals een wandelbos en slingerpaden. Deze onderdelen werden in de 18de en 19de eeuw binnen een bestaande geometrische laanstructuur gerealiseerd. In die tijd werd ook een deel van de gracht vergraven tot slingerende waterpartij.

Zwijnsbergen is rijksbeschermd als  ‘complex historische buitenplaats’ met  diverse complexonderdelen.