Die Justizvollzugsanstalt Karlsruhe wurde von 1894 bis 1899 in dem in Baden-Württemberg einmaligen sogenannten Petersburger System als dreigeschossige Anlage in Form eines geschlossenen Rechtecks mit einem 30 x 60 m großen Innenhof errichtet, dem die Hafträume zugewandt sind. Nachdem keine Mauern vorhanden sind, fügt sich das palastähnliche Gebäude unauffällig in das Stadtbild ein, besitzt aber keine Erweiterungsflächen. Bis zu 85 Gefangenen können Arbeitsplätze in Fremd-, Eigen- und Versorgungsbetrieben angeboten werden. Das beschränkte Raumangebot wirkt sich auch im Freizeitbereich aus. So können insbesondere Sportveranstaltungen nur in bescheidenem Umfang durchgeführt werden. Eine sinnvolle Vollzugsgestaltung ist gleichwohl im Bereich des sozialen Trainings möglich, auf das die Anstalt großen Wert legt. Zur Justizvollzugsanstalt Karlsruhe gehört die Außenstelle Rastatt, in der überwiegend junge Untersuchungsgefangene inhaftiert sind. Seit 1. Mai 2009 gehört zur Justizvollzugsanstalt Karlsruhe auch die Außenstelle Bühl, die bis 30. April 2009 der Justizvollzugsanstalt Offenburg als Außenstelle zugeordnet war. Die Justizvollzugsanstalt Karlsruhe (mit den Außenstellen Rastatt und Bühl) verfügt über ca. 120 Personalstellen, davon rund 100 im allgemeinen Vollzugsdienst.