Das Kriminalmuseum wurde 1896 von dem Grazer Juristen Hans Groß gegründet. Er war zu dieser Zeit Untersuchungsrichter am Landesgericht für Strafsachen in Graz, dessen Gänge ihm nach langem Ringen mit der Verwaltung für die Unterbringung der „Kriminalistischen Sammlung“ zur Verfügung gestellt wurden. Vorstellungen über die Schaffung und Gestaltung einer solchen Sammlung hatte er bereits zwei Jahre zuvor veröffentlicht, wobei diese Gedanken in vielen Ländern (z.B. USA, Deutschland, Japan) Anregungen zur Nachahmung gaben.
Das Groß‘sche Kriminalmuseum war kein Museum der herkömmlichen Art, sondern wurde als Lehrmittelsammlung errichtet, die zur Ausbildung von Studenten, Untersuchungsrichtern und Kriminalbeamten dienen sollte. Groß erwirkte einen Erlaß des Ministeriums, um Lehrmaterial zu bekommen, und trat auch selbst an die Oberlandesgerichte heran, die zu ihrem Sprengel gehörigen Gerichte anzuweisen, Objekte an das Museum zu senden. Der genauen Katalogisierung und Aufstellung der Objekte diente eine von ihm selbst verfaßte „Vorschrift für das Kriminalmuseum“. Diese Sammlung der verschiedensten corpora delicti war das Spiegelbild seiner leidenschaflichen Begeisterung für sachliche Beweismittel. Dahinter stand seine Überzeugung, daß Zeugenaussagen wenig zuverlässig seien, und er erhoffte sich vom Sachbeweis eine wesentlich höhere Wahrscheinlichkeit der Fallaufklärung. Die Unverläßlichkeit der Zeugen begründete er mit den Mängeln der Sinneswahrnehmung, den Fehlern des Gedächtnisses und der tiefgreifenden Verschiedenheit der Menschen überhaupt. Der Zeuge kann sich irren, täuschen oder etwas übersehen, und deshalb könne von einer absolut richtigen und unbeeinflußten Zeugenaussage nur in den seltensten Fällen gesprochen werden. Deshalb bewertete Groß die sachlichen Beweismittel wesentlich höher. Seiner Meinung nach ist eine aufgefundene Spur oder ein mikroskopisches Präparat ein unbestechliches, einwandfreies Zeugnis, bei dem Irrtum und einseitige Auffassung ausgeschlossen sind.