Zur Zeit des Grafen Volkwin III. wurde die Burg von 1228 bis 1231 erbaut. In etwa in dieser Zeit entstand auch die Stadt Schwalenberg. Die Burg wurde im 15. Jahrhundert an verschiedene Adelsfamilien verpfändet und war später Sitz von diversen Nebenlinien des Hauses Lippe. Zwischen 1938 und 1945 wurde die Burg als Müttergenesungsheim und danach bis 1962 als evangelisches Kindererholungsheim genutzt. In der Folgezeit wurde das Gebäude renoviert und zu einem Hotel umgebaut.
Derzeit entstehen in der Burg Ferienwohnungen, die Moderne und Geschichte mit einander verbinden. Das Restaurant mit seiner herrlichen Sonnenterrasse ist ein ganz eigenes Highlight.