Erzincan Üniversitesinin temelleri, 1976’da Milli Eğitim Bakanlığına bağlı olarak kurulan ve daha sonra 41 sayılı Kanun Hükmünde Kararname ile Atatürk Üniversitesine bağlanan Erzincan Meslek Yüksekokulu ve aynı tesis içinde (eski Eğitim Enstitüsü) faaliyet gösteren Erzincan Eğitim Yüksekokulu ile atılmıştır.
11.07.1992’de Eğitim Yüksekokulu Erzincan Eğitim Fakültesine dönüştürülmüş ve Atatürk Üniversitesi Rektörlüğüne bağlı olarak ilköğretime yönelik lisans düzeyinde öğretim vermeye devam etmiştir.
27.06.1987 tarih ve 3389 sayılı Kanunla Erzincan Hukuk Fakültesi kurulmuştur. Fakülte öğretim faaliyetlerine 1991 yılında Erzincan’da başlamış ancak 13 Mart 1992 depremi sonrasında Ankara Üniversitesi Hukuk Fakültesinde öğretime devam etmek zorunda kalmıştır. 1994’te ise tekrar Erzincan’da faaliyetlerine başlamıştır.
Sağlık Yüksekokulu 2.11.1996 tarihli Resmi Gazete’de yayınlanan 10.10.1996 tarih ve 8655 sayılı Bakanlar Kurulu Kararıyla ve Sağlık Bakanlığı ile YÖK arasında imzalanan 22.11.1996 tarihli işbirliği protokolüyle kurulmuştur. 1999-2000 öğretim yılında da ilk öğrencilerini alarak eğitim-öğretime başlamıştır.
16.07.2003 tarihli Resmi Gazete’de yayınlanan Bakanlar Kurulu Kararıyla Fen-Edebiyat Fakültesi kurulmuş, 2004-2005 öğretim yılında da ilk öğrencilerini almıştır.
1991-2004 yılları arasında yine Atatürk Üniversitesine bağlı olarak Erzincan İlahiyat Meslek Yüksekokulu ile Refahiye, Tercan ve Kelkit’te Meslek Yüksekokulları açılarak öğretime başlanmıştır.
Erzincan’ın Kemaliye ilçesinde ise 5.06.1996 yılında Fırat Üniversitesi’ne bağlı olarak Kemaliye Hacı Ali Akın Meslek Yüksekokulu açılmış, 2006 yılına kadar da aynı üniversiteye bağlı olarak eğitim-öğretim faaliyetlerine devam etmiştir.