Yohanes lahir 24 Juni 1542 di Fontiveros, sebuah desa kecil dekat Avila, Spanyol. Ia dibaptis dengan nama Juan de Yepes dan menghabiskan masa kecilnya di Castilla. Kemudian, ia pindah ke Medina del Campo pada tahun 1551. Awalnya, Yohanes masuk sekolah Jesuit. Namun, suatu hari Yohanes memutuskan untuk masuk Ordo Karmel di Medina. Tahun 1567, Yohanes ditahbiskan menjadi imam Ordo Karmel.
Ditahun yang sama, Yohanes pun bertemu dengan Santa Teresa Avila yang mengajaknya ikut serta dalam gerakan pembaharuan Ordo Karmel, termasuk pembaruan kehidupan membiara bagi para biarawan-biarawati Karmel. Mereka berjuang memperbaharui kembali semangat spiritualitas Ordo Karmel melalui kehidupan membiara yang suci, dalam doa, serta menjalankan puasa dan berpantang dengan sangat ketat.
Proses pembaharuan ordo Karmel ini juga ditentang oleh banyak biarawan Karmel sendiri. Hal ini membuat ordo Karmel terbagi menjadi 2 kelompok, yaitu Karmelit Tak Berkasut dan Karmelit Berkasut. Yohanes dan Teresa Avila pun bergabung dengan Ordo Karmelit Tak Berkasut yang meneladani semangat kemiskinan.
Selama pergolakan antara biarawan Karmelit ini, mengakibatkan Yohanes mengalami banyak tekanan dari Ordo Karmelit Berkasut. Bulan Desember 1577, Yohanes dipenjarakan di Toledo. Yohanes ditawan, disiksa secara brutal dan mengalami isolasi yang berat. Meski mengalami penderitaan dalam penjara, Tuhan mengaruniakan Yohanes berbagai pengalaman mistik. Pengalaman mistik itu, Yohanes tulis dalam karya-karya tulisnya yang kita kenal, diantaranya Malam Gelap Jiwa, Mendaki Gunung Karmel dan Madah Rohani. Setelah mendekap 9 bulan dalam penjara, akhirnya Yohanes bisa melarikan diri berkat bantuan Bunda Maria.
Karena adanya pertentangan dan pembaharuan ordo Karmel ini, maka pada 22 Juni 1580, Paus Gregorius XIII menandatangani sebuah dekrit, yang disebut Pia Consideratione, yang mengatur pemisahan antara Karmelit Berkasut dan Karmelit Tidak Berkasut. Selama beberapa tahun, Yohanes menjadi pembimbing biara dan ia selalu menunjukkan cinta kasih Allah kepada sesamanya, termasuk kepada para pendosa yang ingin bertobat.
Yohanes pun wafat ditahun 1591 di Ubeda, Spanyol. Berselang 9 bulan kemudian, makamnya dibuka kembali dan ditemukan masih utuh (incorrupt body). Lalu, makamnya dipindahkan ke Segovia. Sampai hari ini, Yohanes dari Salib masih menjadi salah satu mistikus terbesar di Gereja Roma. Ia pun dibeatifikasi 25 Januari 1675 oleh Paus Klemens X dan dikanonisasi 27 Desember 1726 oleh Paus Benediktus XIII, serta diberi gelar Doktor Gereja (Doctor of Mystical Theology) tahun 1926 oleh Paus Pius XI.
