海軍士官學校於1946年1月17日創立以後，一直收集有關忠武公李舜臣的文獻資料。為了展示這些文獻資料，在校內圖書館臨時設立了文獻展示室。之後於開校30週年1976年1月17日時，設立了海軍士官學校博物館。當時展示有關忠武公李舜臣文獻的展示室還沒有過分擴張，只不過是借了海軍士官學校圖書館的一部份，大約一間辦公室大小而已。之後，博物館於1980年1月31日依照忠武公李舜臣創造的龜甲船實際大小復原製造，並展示於海軍士官學校貴賓碼頭海上。1981年2月23日於海峽半島現在位置新建了獨立的博物館建築，1990年4月28日擴建為現貌。