An dem Ort, an dem sich heute die Gemeinde Koloděje, früher Kaladý, befindet gab es früher nur einen Gutshof und eine Schenke. Nach der Übernahme des Besitzes durch Herrn Adam Čabelický aus Soutice baute sich der neue Eigentümer zur seiner Bequemlichkeit im Jahre 1565 einen kleineren Adelssitz im Renaissance-Stil mit trapezförmigem Grundriss, befestigt mit einem Graben, der an den Fluss Lužnice angebunden war.
Die Besitzer dieser Herrschaft wechselten häufig. Es waren Jan Mencelius aus Kolsdorf (J. 1625), Jan de Vitte aus Liliental, Johanka Branštejnová aus Malovice, Pavel Michna aus Vacinov. Im Jahre 1704 kam das Anwesen in eine Versteigerung und Graf František Wratislav aus Mitrowicz kam in seinen Besitz, mit dessen Familie es über Jahrhunderte verbunden blieb. In einem Eintrag aus dem Ländereienverzeichnis aus diesem Jahr ist eine Beschreibung der Feste erhalten. Sie was aus Steinen erbaut und mit Schindeln gedeckt, im abgesenkten Erdgeschoss war eine zweiteilige Mühle, ein Küchengewölbe, ein Zimmer, ein Keller und eine Speisekammer. Im ersten Obergeschoss waren fünf Zimmer, im zweiten drei Zimmer und eine geräumige Tafel (Speisezimmer).
In den Jahren 1737-1741 führte František Karel Wratislav mit seiner Ehefrau Marie Anna geb. Kinsky eine Erweiterung des Wohnbereiches mit Anbau einer Kapelle aus, damit entstand das heutige barocke Aussehen des Schlosses.
Die St.-Anna-Kapelle ist ein Werk des Baumeisters Jan Hybner, welcher sehr vom Werk des Meisters der Barockarchitektur Kilian Ignaz Dienzenhofer (1689-1751) beeinflusst war. Das Interieur ist reich mit Fresken verziert, die größte befindet sich an der Decke und bildete die Jungfrau Maria mit der heiligen Dreieinigkeit ab. Das zentrale Altarbild der Hl. Anna ist angeblich ein Werk von Peter Brandl.
Vom Ende des 18. Jahrhundertsstammen auch die Wandmalereien im ersten Obergeschoss. Sie bilden Szenen aus dem Leben eines der Vorfahren von Wratislav von Mitrowicz, Václav genannt„Türklein“ (1576-1635), ab, welcher als fünfzehnjähriger Knappe an der Reise der Gesandtschaft der Kaisers Rudolf II. nach Konstantinopel teilnahm. Seine Erinnerungen an die vierjährige Gefangenschaft, welche folgte, fing er in seinem eigenen Reisebericht „Die Erlebnisse des Václav Vratislav, Freiherr aus Mitrovice“ ein.
Zu späteren Umbauten kam es im Jahre 1840, als die Mühle abgebaut wurde, die sich im ursprünglichen Renaissanceteil des Schlosses befand. Die Mühle wurde in ein neues Gebäude am gegenüberliegenden Ufer der Lužnice versetzt und das gesamte Flussbett wurde weiter vom Schloss entfernt versetzt. Damit vergrößerte sich der Bereich vor dem Schloss und es kam zu einer Erweiterung des Parks, ursprünglich schon im Jahre 1753 angelegt. Im Jahre 1875 wurde zwischen dem Schloss und dem Eingangstor eine Familienkrypta für das Geschlecht der Wratislav aus Mitrowicz erbaut. Als erste wurden hier die sterblichen Überreste der Brüder Eugen und Karl Wratislav begraben, übertragen vom Gebeinhaus am Friedhof in Týn nad Vltavou.
Das Geschlecht der Wratislav aus Mitrowicz und Schoenfeld starb in der Person von Eugen Wratislav im Verlauf des Jahres 1943 aus. Einzige Eigentümerin des Kolodějer Schlosses wurde am Ende seine Schwester Marie Terezie (1884-1961), welche sich mit dem Freiherrn Dercsényi, Eigentümer eines Großgrundbesitzes in Dolní Počernice, vermählte. In den 40er Jahren des vergangenen Jahrhunderts wurde das Eigentum der Dercsényi verstaatlicht.
Das Schlossareal zusammen mit den anliegenden Gebäuden der Brauerei, Brennerei, die Pferdezucht und weitere Objekte bewirtschaftete die örtliche JZD. Das Schlossgebäude selbst wurde durch eine hohe Mauer gewaltsam getrennt und diente als Museumsdepositar. In der Mitte der 60er Jahre des vergangenen Jahrhunderts kam es in Folge des Baus des Orlik-Staudamms zu einer Erhöhung des Wasserspiegels der Lužnice, dieser stieg bis unter das Schloss an und der anliegende Park verkleinerte sich deutlich durch den Flussgraben und den Bau eines Hochwasserwalls.
Anfang der 90er Jahre des 20. Jahrhunderts erhoben die Erben des Geschlechts der Derscenyi (das Geschlecht starb im Verlauf des Jahres 1987 aus)Restitutionsansprüche und verkauften dieses stückweise nach dessen Herausgabe. Seit dem Jahre 2008 ist das Schloss, welches zu den denkmalgeschützen Objekten gehört, im Besitz des Unternehmens Mitrowicz, a.s. und es durchlief schrittweise eine sehr anspruchsvolle Gesamtrekonstruktion. Im Jahre 2016 wurde es zum ersten Mal in seiner fast 500jährigen Geschichte für länger als einen Tag für die Öffentlichkeit geöffnet und bot den Besuchern ein reichhaltiges Ferienprogramm.