De geschiedenis van Rapenburg 4 begint pas na 1667; vóór die tijd stond op het terrein van Rapenburg 4 tot en met 10 het Barbaraklooster, dat na de reformatie als Prinsenhof werd gebruikt. Hier verbleven vele hooggeplaatste gasten waaronder de prinsen van Oranje, Maurits en Frederik Hendrik. Na afbraak van de gebouwen werden de gronden verkaveld, waarbij ook nieuwe straten ontstonden: de Papengracht werd doorgetrokken tot aan de Breestraat en de Voldersgracht (Langebrug), die nog gedeeltelijk open lag, werd tot aan het Rapenburg overkluisd. Op een van de vrijgekomen kavels werd in 1668 een huis gebouwd dat waarschijnlijk als belegging was bedoeld: het huis werd verhuurd. Pas in 1750 werd het pand, nadat het eerst was gemoderniseerd, door de toenmalige eigenares bewoond. Een groot deel van het interieur op de begane grond stamt uit deze tijd, al is de tuinkamer, die achter de overdekte binnenplaats ligt, overwegend in een oudere, classicistische stijl gebleven. In 1912 werd een extra verdieping op het pand gezet om meer studenten te kunnen huisvesten. Van 1950 tot 1975 werd het pand door middel van binnendeuren verbonden met het naastgelegen nr. 6 toen de ruimte op de begane grond in gebruik werd genomen als eetzalen voor de mensa van de Ned. Christelijke Studentenvereniging, het Prytaneum. Momenteel is de benedenverdieping in gebruik bij een makelaardij, de bovenverdiepingen worden nog steeds door studenten bewoond.