在諸暨城關(guān)西，左伴浣紗江，右依苧蘿山，古稱浣紗廟，祀西施。相傳城關(guān)鎮(zhèn)蘭蘿山上很早就有紀(jì)念西施的建筑，唐時已具規(guī)模，歷宋元而不廢。明崇禎五年(1632) 諸暨知縣張央重修后改名西子祠。清道光、咸豐年間及民國18年(1929)均有修葺，并改稱西施殿。
西子祠屢毀屢修，清道光二十二年(1842)，由陳延魯捐資重修。咸豐十一年(1861年)又毀于戰(zhàn)火。光緒(1875一1908)年間，里人集資重修，架屋三楹，余皆荒廢。民國初，已成“短垣半紀(jì)，蘚草迷離?！泵駠四?1929)，陳錦文等集資再建，正廳三間，祠宇高敞，門額書顏體“西子祠”三字，里人周嗣培署。前臨曠地，植花栽竹，圍以石欄。民國二十三年(1934)兩廡又配筑南廳、北閣。正廳鑾閣，中供西施塑像，旁立宮女二，鑾閣頂端豎二小匾，一曰“歸真處”，一曰“時雨之化”。左右置小聯(lián)。
今殿為1990年重修，坐北朝南，三開間，重檐歇山頂，殿內(nèi)塑西施像。西子祠門聯(lián)為：“山圍古堞青蘿色；水涌寒灘白些聲?！蔽髯屿酏惵?lián)為：“越錦何須衣義士；黃金只合鑄嬌姿?！敝?lián)有：“駐節(jié)觀風(fēng)，想當(dāng)中名娃粉黛，國士風(fēng)流，俯仰千秋人物；飛觴醉月，問門外山色蒼茫，溪聲幽咽，浮沉幾代興亡”。其他景點有古越臺、鄭旦亭、碑廊、紅粉池、沉魚池、暨陽先賢閣等，是一個頗具特色的仿古建筑群。