Het Gravensteen werd aan het eind van de 12e eeuw gebouwd als een vierkante bakstenen toren. De graaf van Holland gaf hiertoe de opdracht. Misschien diende het oorspronkelijk als vluchttoren. Later was het de grafelijke en stedelijke gevangenis. Burgers maar ook buitenlui werden hier gevangengehouden en berecht. De hogere rechtspraak werd oorspronkelijk uitgeoefend in de vierschaar, het rechtshuis van de baljuw van Rijnland, in naam van de graaf. Vierschaar is afgeleid van de vier ‘geschoren koorden’, waarbinnen de beschuldigde tijdens de rechtszitting stond. De gevangenen kwamen uit Leiden of omgeving, maar soms ook van ver. In de 18e eeuw zaten er veel bedelaars uit alle windstreken van Europa opgesloten. Op het plein voor het Gravensteen, het huidige Gerecht, werden tot in de 19e eeuw doodstraffen ten uitvoer gebracht. Vanaf hier is het oudste deel herkenbaar als een sobere, blokvormige toren, met een 15e-eeuwse zeshoekige toren als trappenhuis. Links is het 17e-eeuwse werkhuis zichtbaar, met een spinhuis voor vrouwen en rasphuis voor mannen. In die tijd werd de galerij voor de rechters op de voorgrond verlengd. Vanaf hier woonden zij terechtstellingen bij. Geheel rechts bevindt zich de 17e-eeuwse uitbreiding met vierschaar (rechtbank) en schepenkamer. De gevel aan de zijde van het Pieterskerkhof is ontworpen door stadsarchitect Arent van ‘s-Gravesande.