五楼始建于清光绪间,系陈宝深遭贬回乡期间开始兴建,先建赐书楼,再建还读楼、沧趣楼,后建北望楼,最后建唏楼。至民国初竣工。沧趣楼,在赐书楼右后侧,系陈宝琛珍藏金石书画之所。陈自述;“‘余年来四十作沧趣、听水二斋以娱亲。”楼为土木结构,二层,面阔五间,进深四间,单檐歇山顶。楼前有鱼池、假山、凉亭,具有庭园风貌。回廊墙上原嵌有五方唐代墓志。“文化大革命”中散失。由郊区文物管理委员会收藏;《李仁德墓志》、《曹夫人墓志铭》两方仍下落不明。还读楼,在赐书楼后侧,取陶潜“时还读我书”句之意,为陈宝琛藏书之处。楼为木构,双层,面阔四间,进深五间,单檐悬山顶。楼边有株高10米玉兰树。唏楼,位于还读楼和北望楼之间,坐西向东,以迎朝晖。楼为木构,双层,面阔五间,进深二间,单檐歇山顶。与还读楼间有阳台,为陈宝深乘凉赏月之所。北望楼,在沧趣楼左前侧,于清廷帝制结束后建成,取名“北望”,以示“思君”,内原悬挂溥仪像及陈列祭器等物。北望分前后二楼,中间隔一天井,均双层,单檐歇山顶。前楼面阔三间,进深二间;后楼面阔五间,进深一间,建筑精巧,俗称“小姐楼”。五楼于1983年公布为市级文物保护单位。