淮阴师范学院图书馆的历史，可追溯至创办于1958年6月的淮阴师范专科学校图书馆和创办于1959年9月的淮阴地区教师进修学院图书馆。此后历经沧桑，至今已走过了近六十年的路程。

原淮阴师范专科学校，1962年6月停办，图书馆不复存在，图书资料由原淮阴地区教师进修学院接收。原淮阴地区教师进修学院1965年5更名为淮阴教育行政干部学校，1969年6月学校停办并撤销，图书资料由有关部门封存。南京师范学院淮阴分院于1976年11月，在淮阴师范学校校址成立（淮阴师范学校迁出），图书馆随之成立，并接收原先封存图书资料。1979年2月，学校恢复淮阴师范专科学校校名。淮阴地区教师进修学院于1979年7月复建，1983年7月定名为淮阴教育学院。期间，两校图书馆随学校校名的变更，数度易名。1997年6月，两校合并成立淮阴师范学院。两校图书馆也随之合并，成立淮阴师范学院图书馆。

2000年3月，原淮阴师范学校（前身为创办于1906年的江北师范学堂）和原淮安师范学校（前身为创办于1766年的丽正书院），并入淮阴师范学院，两校图书馆也随之并入，形成现在的淮阴师范学院图书馆。