Um 1100 entstand auf dem heutigen Schlossberg in Arnsberg eine Burg, in deren Schutz sich bald erste Bürger ansiedelten. Nach mehrmaligem Umbau entwickelte sich die Anlage zur Residenz der Kölner Kurfürsten. Noch heute erinnert die Ruine an ihren letzten prachtvollen Ausbau, der während des Siebenjährigen Krieges (1762) zerstört wurde.
Die gut erhaltene Vorburg wird als Hotel genutzt, von der Hauptburg haben sich Mauerreste und der Stumpf des Bergfriedes erhalten. Die Ruine der Hauptburg ist frei zugänglich.
Jedes Jahr findet im Mai das zweitägige Ruinenfest statt, wo die zahlreichen Besucher mit DJ und Liveband ausgiebig feiern können.
Außerdem findet im Knappensaal regelmäßig das Krimidinner statt.