Zámek získal svou dnešní klasicistní podobu po polovině 19. století, kdy ho vlastnil Wilhelm Alexander Ritter von Schoeller, průmyslník, podnikatel a bankéř z německé podnikatelské rodiny. Schoeller podnikal i na českém území a na Moravě a vybudoval čakovický cukrovar. S úpravou zámku zvelebil i park, v němž vznikl rybník (dnes patří k rybářskému revíru Mratínského potoka) a bazén s altánem. Schoeller zařídil, aby měl zámek v obci číslo popisné 1.
Z tvrze je krásný zámek
Zámecká historie však sahá hluboko před Wilhelmovo šťastné narození. Původní tvrz v jednom z čakovických dvorů, doložená na začátku 15. století, byla v 17. století zpustošená za třicetileté války. V archivních dokumentech se o tvrzi, po válce obnovené, píše, že je „od kamene vystavená, šindelem krytá, v níž v hořejším štoku šest pokojů, pavlače a při zemi dva pokoje, čtyři komory a kůlna se nachází“.
Od konce 17. století střídala stavba majitele a majitelky. Mezi vlastníky se objevili i tací, kteří se pustili do větších stavebních úprav, postupně posouvali stavbu až do její nynější architektonické podoby a zapsali se tím čitelněji do místní historie. Na panské sídlo proměnil tvrz její majitel František Josef Šlik, hrabě z Pasanu a Weiskirchenu, a to někdy v průběhu 20. a 30. let 18. století. Přestavba tvrze na zámek se připisuje Antonii, hraběnce z Klebelsbergu, rozené Kolowrat-Krakovská. A to jsme již ve druhé polovině 18. století, kdy se o zámku píše v Topographie des Königreichs Böhmen z roku 1788 jako o krásném zámku, který by neměl ujít ničí pozornosti.
Živí svědci minulých časů
Schoellerové na zámku pobývali až do konce 2. světové války, poslední z nich byla hraběnka Rosa. Poté se střídaly účely využití, až konečně druhá půlka 20. století přinesla zámku školní život. Nejprve v podobě gymnázia a potom lidové školy umění, nyní základní umělecké školy. Umělecké využití zámku doplňuje knihovna a sály pro různorodé společenské a kulturní akce i pro schůze zastupitelstva. A co živí svědci minulých časů, již zmíněné památné stromy? Jasan ztepilý zřejmě pamatuje ještě Antonii z Klebelsbergu. A jinan dvoulaločný patří z hlediska obvodu kmene k nejmohutnějším památným stromům svého druhu v Česku.
Kdo byl kdo: Hrabata z Klebelsbergu a básník Goethe
Manželem Antonie Kolowrat-Krakovské byl Vojtěch Václav, hrabě z Klebelsbergu. Měli syna Františka Josefa, který se stal jedním ze zakladatelů Vlasteneckého muzea v Čechách, nynějšího Národního muzea. František Josef se oženil s Amalií von Levetzow, čímž se jeho nevlastní dcerou stala Amaliina dcera z předchozího manželství Ulrika, pozdní láska slavného Johann Wolfganga von Goethe, německého básníka, romanopisce, dramatika a politika.