In 1651 kocht de stad Leiden van de toenmalige burggraaf Claude Lamoral, prins van Ligne, de Burcht en een aantal omliggende percelen plus de bijbehorende tolrechten aan. De Burcht stond op een strategische plek: ten westen komen twee Rijnarmen samen en de Mare mondde er uit in de Rijn. Het was een kruispunt van noord- zuid-, en west-oostverbindingen. Een goede plek dus om scheepvaart en oversteek te controleren. De panden werden grotendeels afgebroken. Het burchtterrein werd omgevormd tot een openbaar lusthof en men vond dat daar ook een herberg bij hoorde. Het werd een luxe logement dat diende als onderkomen voor belangrijke gasten van de stad waaronder de rijke lakenhandelaren die de stad in die tijd veelvuldig aandeden. De latere stadsarchitect, Willem van der Helm, tekende in 1658 voor het ontwerp. Het logement fungeerde ook als venduehuis, waar openbare verkopingen van huizen, landerijen en schuldbrieven werden gehouden, aldus stadshistoricus Frans van Mieris in 1770. Ook culturele activiteiten vonden onderdak in het Heerenlogement. Zo werd de gelagkamer later als rederijkerskamer gebruikt. Aan het einde van de 19e eeuw kwam er een theaterzaaltje op de binnenplaats. Na de Tweede Wereldoorlog kreeg het pand andere functies. Tussen 1976 en 1981 vond een forse restauratie plaats. Momenteel huist de Openbare Bibliotheek in het pand.