1868年12月，曾國藩由兩江總督轉任直隸總督。朝廷任命下達後，曾國藩離開了南京，一路北上，來到京城——曾國藩在赴任之前，要先進京覲見慈禧太后、慈安太后和同治皇帝，當面謝恩，並接受太后和皇帝的訓示。
清朝時期，交通落後，旅途漫漫。曾國藩經過舟車勞頓抵達京城時，已經是1869年1月了。
為了方便進入皇宮覲見太后和皇帝，1月25日，曾國藩住進了位於東安門外金魚衚衕的賢良寺。梁啟超所著《李鴻章傳》記載：“曾文正平江南後，初次入都陛見，即僦居於此。”這裡的“曾文正”，指的是曾國藩。曾國藩病逝後獲得了“文正”諡號。
無獨有偶，李鴻章進京覲見慈禧太后，也是住在賢良寺。
梁啟超在《李鴻章傳》說：“李鴻章之在京師也，常居賢良寺。”1895年，中日甲午戰爭結束後，李鴻章被朝廷革除直隸總督職務，只留下文華殿大學士閒職時，住在賢良寺。1900年，李鴻章進京參加《辛丑條約》談判時，住在賢良寺。《辛丑條約》簽訂後，李鴻章因為胃血管破裂病逝賢良寺，“本年以來，肝疾增劇，時有盛怒，或如病狂，及加以俄使，助天為虐，恫喝催促，於邑難堪，及聞徐壽朋之死，拊心嘔血、遂以大漸，以光緒二十七年九月廿七日薨於京師之賢良寺。”
賢良寺，顧名思義是一座佛家寺廟。不過，它最初不是寺廟，而是一座王府。它最初修建的地方，也不是金魚衚衕，而是位於今天王府井大街一帶。
明朝時，朝廷在今天王府井大街一帶建造了十王府，作為未成年王爺的集體宿舍。清朝入關後，將十王府作為王公貝勒的府邸。雍正皇帝繼位後，將十王府賞賜給怡親王允祥，作為他的王府。1730年，怡親王允祥病逝，時年44歲。雍正皇帝為了獎賞允祥的功績，追贈諡號為“賢”，並允許怡親王的爵位世襲罔替。
允祥在病逝前，立下遺願，希望將怡親王府作為寺廟。雍正皇帝尊重允祥的遺願，花了4年時間將怡親王府改造為一座寺廟，還按照他的諡號，親自賜名為“賢良寺”。賢良寺裡設立了一座藏經館。雍正皇帝調派大批人手在藏經館裡校勘編纂了一部佛家經典著作《大藏經》。
1755年，乾隆皇帝將賢良寺進行了搬遷，搬遷到今天的金魚衚衕一帶。根據乾隆年間繪製的《乾隆京城全圖》記載，賢良寺東起校尉衚衕，西鄰王府井大街，南起帥府衚衕，北至金魚衚衕，佔地面積約6000平方米，比較原來的規模有所減少，但依然規模龐大，中路正門面闊五間，大殿面闊七間，左右配殿面闊七間，後殿面闊五間。
賢良寺裡有山門、碑亭、前殿、正殿、經樓、東西配殿、寮房等建築，還有一塊乾隆皇帝御書的心經塔碑。
賢良寺與皇宮相距很近，外省官員進京接受太后、皇帝召見，總是選擇住在賢良寺裡。曾國藩、李鴻章、康有為、沈子培、王病山等近代歷史人物，都曾經在賢良寺裡留下他們的音容笑貌。
清末民初，京城不少富貴人家操辦喪事時，喜歡選擇賢良寺。因為這裡地勢開闊，還有眾多僧人，舉辦法事非常方便。基於此，在民國時期，這裡曾經被改造為殯儀館。北牆內是停放靈柩的地方。
值得一提的是，賢良寺曾經是遠近聞名的旅遊景點，對遊客開放。1935年出版的《北平旅行指南》記載：“庭中古柏參天，老槐蔭地，清涼至甚。如夏季吾人苟置身廟中，就蔭涼下，盤膝而坐，以茶一甌，書一卷，祛斯炎氛。倦而拋書一覺，午夢初長，不知炎暑，怡然自得，則不啻又一桃園也……寺中有畫壁，畫工精緻生動，實臻上乘；藝術之佳，洵為近代所罕見。壁上系一羅漢像，左手下隱伏一白額猛虎，右手張一大扇，作飛揚狀，蓋喻隱惡揚善之意也。惜因年久，畫已模糊難辨矣。”
民國時期，人們常常將寺廟改造為學校。賢良寺也不例外。當時，賢良寺的配殿內開設了民眾小學。於是，這座百年古寺裡，傳出了朗朗讀書聲，與僧人們的悠悠唸經聲相映成趣。
1949年以後，賢良寺裡的僧人被遣送，改造為校尉小學（今東城區校尉衚衕小學）。賢良寺的主持吳金鼎成為校尉小學的第一任校長。
近些年來，校尉小學進行了多次擴建，賢良寺的建築被拆除，至今已基本不存在，消失在歷史的煙雲深處。
