Das Steinerne Haus liegt in der Nähe der alten Rechtenbacher Landstraße, die als Höhenweg über den Schanzkopf führt.
Riesige Sandsteinfelsen und –platten liegen gegeneinander verschoben so über- und nebeneinander, dass sie einen großen Innenraum bilden. Die zimmerähnliche Höhlung bietet etwa 20 Personen Platz. An den ockerfarbenen Wänden erkennt man Ritzungen und Gravuren. Die älteste Ritzung stammt von 1760. Asche und verkohlte Holzreste zeigen, daß sich immer wieder Leute darin aufhielten.
Wie das Steinerne Haus entstanden ist, ist nicht nachvollziehbar. Es ist ein zufälliges Ergebnis der Natur. Tektonische Bewegungen in der Erdkruste und witterungsbedingte Vorgänge dürften zusammengewirkt haben. Weil rund um das Steinerne Haus offensichtlich alle verwertbaren Felssandsteinplatten abtransportiert wurden, liegt der Verdacht nahe, dass frühere Generationen diese natürliche Höhle als Schutzraum für Waldarbeiter, Wanderer, Beerensammler, Jäger und Förster erhalten haben. Sicher war dieser Raum auch Zufluchtsort in Kriegs- und Krisenzeiten.
Im "Lohrer Anzeiger" vom 01.06.1917 war zu lesen, dass Kaspar Vater, der damals im Alter von 84 Jahren starb, sein Leben lang Schweine gehütet hat. Als Kind wohnte er mit seinen Eltern im Steinernen Haus. Sein Vater betrieb das Schuhflickerhandwerk. Sie lebten unter der Armutsgrenze.