Johannes werd geboren op 24 juni 1542 te Fontiveros, nabij Avila, in Spanje. Zijn vader was vanwege zijn huwelijk met een burgerlijk meisje uit de familie verstoten. Hij verdiende de kost als wever. Hij wilde dat Johannes ook wever zou worden, maar zijn weg liep anders: Johannes werd op jeugdige leeftijd ziekenoppasser. Door zijn onafzienbare inzet en naastenliefde voor de zieken was hij een graag geziene persoon in het ziekenhuis van Medina del Campo. Tevens volgde hij een cursus filosofie bij het plaatselijke Jezuïetencollege. In het jaar 1563 trad hij in Medina in bij de orde van de karmelieten. Na zijn professie werd hij naar Salamanca gestuurd. Daar volgde de begaafde Johannes de studies theologie en filosofie.
In 1568 werd hij tot priester gewijd. Door een verzwakkende houding en ‘falende’ leefgewoonten in de karmelietenorde, overwoog hij zijn orde te verlaten en in te treden bij de strengere kartuizers. Toen ontmoette hij de heilige Teresia van Avila en begon hij met de hervorming van zijn orde: de ongeschoeide karmelieten. Hij bleef zijn orde trouw en werd door de karmelieten die de hervormingen niet wilde doorvoeren en zich aangevallen voelden, vastgenomen en zwaar mishandeld. Johannes bleef echter trouw aan de visie van Teresia en in 1578 wist hij te vluchten naar het klooster Calvario. Daarmee was de scheiding tussen de geschoeide en de ongeschoeide karmelieten definitief.
Toen de heilige Teresia in 1582 stierf moest Johannes het gemeenschappelijk werk alleen voortzetten. Vanaf 1588 was hij prior van het Vaderhuis van de ongeschoeide karmelieten in Segovia.
In zijn laatste levensjaren heeft hij veel lichamelijk lijden te verduren gehad. Hij is op 14 december 1591, slechts negenenveertig jaar oud, in het klooster van Ubeda gestorven. Twee jaar later werd zijn lichaam overgebracht naar Segovia.
Op 26 december 1726 werd Johannes van het Kruis door paus Benedictus XIII heilig verklaard. Hij behoort tot de grootste leraren van de mystiek. Paus Pius Xl heeft hem vooral vanwege een aantal van zijn mystieke geschriften in 1926 verheven tot kerkleraar. Enkele fundamentele uitspraken van het Tweede Vaticaans Concilie zijn letterlijke vertalingen uit de werken van Johannes van het Kruis.