Konon, saat Sunan Kalijaga sedang melakukan syiar dan singgah di daerah ini, tempat ini masih berupa hutan yang tandus. Ketika hendak melaksanakan salat, beliau tidak menemukan air untuk berwudhu.
Atas kehendak Allah dan karomah beliau, Sunan Kalijaga menancapkan tongkatnya ke tanah. Seketika itu, memancarlah mata air jernih yang menjadi cikal bakal Sendang Joholanang.
Hingga kini, mata air ini tidak pernah kering dan dimanfaatkan warga untuk kehidupan sehari-hari serta kegiatan spiritual.