江南水师学堂是张之洞为与李鸿章的北洋水师在刘公岛办的水师学堂相抗衡而建立的。　它是清政府在洋务运动中开办的军事学校，作为培养科技人才的基地。

堂内开设驾驶、轮机、鱼雷3个班，每期学员120名左右，教员大多为英国人。课程有英语、机械、航海、天文等。当时大门两柱，一边柱上写“中流砥柱”，一边柱上写“大雅扶轮”，这8个字当可反映出当时办学者的心态。

辛亥革命后，该学堂停办，改为海军部的办公地。后又为海军军官学校、国民政府海军部、海军司令部等单位驻地。

国民党政府时期重建了学堂大门，采用6级牌楼式钢筋混凝土结构，牌楼尖顶高达10余米，上有旗杆一根。

抗战胜利后再次重修时，除中间去掉部分徽饰，“海军部”3字改为直书外，其余基本未动，至今3字痕迹依稀可辨，门前石狮一对，雄踞如故。

解放后由三汊河法云寺移一对石狮海军部办公厅房前。

现在江南水师学堂作为一个旅游景点，游人络绎不绝。该景点现位于南京市区中山北路346号，占地面积1000余平方米。现存建筑一部分为民族风格的大屋顶形式，有：原二门及其后的二厅，即今人称为门厅；卷棚式轿厅，即长长的廊沿加上今人所称的二厅，总办（校长）、提调（教务长）双层办公楼，楼下暖阁，东侧为总办办公室，西侧为提调办公室，民国后增建的海军部办公厅房，内设海军司令办公室，参谋长办公室等。

整个建筑，雕梁画栋，彩绘鲜艳，四进到底，颇为壮观，其中二门，轿厅、双层办公楼系由所在单位南京船舶雷达研究所于1989年耗资60万元按原式复建，并稍有增高；另一部分在二门厅东侧，系两层西式建筑，原为英籍教员盘罗蒙罗等人的办公楼。历经多次修缮，原样保存完好，以上共计900平方米，已列入省级文物保护单位。原江南水师学堂的其他建筑，已荡然无存。