Es a principios del siglo XVIII, cuando se edifica la ermita en su actual emplazamiento. Se desconoce la autoría de esta ermita, aunque se cree que fuera obra de alarifes locales. A mediados del mismo siglo, su patrimonio se vio incrementado con la incorporación de imágenes, retablos y ornamentos procedentes de la derruida ermita de Santa Ana (1745).
En el s. XIX apenas sabemos nada de ella hasta el año 1849, fecha que consta en un inventario que recoge todo cuanto se hallaba en su interior. Además de los ornamentos sagrados, contenía cinco altares dedicados a San José, Santa Ana, Nuestra Señora de la Consolación, Virgen del Pilar y Santísimo Cristo del Amor, con sus respectivas imágenes; dos faroles de San José, dos bancas viejas y un cuadro de la Virgen del Carmen.
Actualmente se conserva todo lo anteriormente mencionado, a excepción del cuadro de la Virgen del Carmen y la imagen de la Virgen del Pilar que desaparecieron. Santa Ana, la Virgen Niña y San Joaquín fueron trasladados a la parroquia en el siglo XX y la imagen de San José es actual.
En varias ocasiones, durante el siglo XIX, la ermita realizó las funciones de Parroquia cuando, al mismo tiempo, se realizaban obras en la Iglesia de Nuestra Señora de las Virtudes y en el Convento de Nuestra Señora de la Candelaria.
A mediados del siglo XIX y ante el estado de deterioro que presentaba el inmueble, Doña Valentina Cañete, mujer de familia acaudalada y muy devota de San José, donó una buena parte de sus bienes fueran destinados para reconstruir el templo y adquirir los ornamentos necesarios para el culto. La ermita, una vez remodelada, fue bendecida el 18 de enero de 1863. A finales de siglo, concretamente en 1894, el alcalde decide invertir unos 4.000 reales de los fondos pertenecientes al municipio en adecuar la ermita y la casa hospital contigua para el uso de las hermanas franciscanas del Rebaño de María, dedicándose éstas principalmente a la asistencia de enfermos y a la enseñanza.
Hay que destacar, en la capilla mayor, la imagen de candelero de la Virgen de la Consolación de la segunda mitad del siglo XVIII y frente a ella se encuentra la imagen de San Francisco de Paula, del siglo XIX.
De entre las muchas imágenes que alberga la ermita, únicamente tiene valor artístico un pequeño crucificado del siglo XVII (Cristo del Amor), realizado en madera policromada y que se halla frente a la puerta de entrada del edificio. El resto de imágenes son esculturas de escayola sin ningún valor: No debemos olvidar los azulejos de estilo árabe del s. XVIII colocados en el suelo del presbiterio a modo de cenefa, por los que el tiempo también ha dejado su huella. Encontramos también tres lienzos que representan pinturas de tipo popular en honor al Crucificado, la Inmaculada y San Roque, localizados actualmente en la habitación que hace las funciones de Sacristía debido a su mal estado de conservación.
En el siglo XIX existieron varias ermitas y en La Puebla de Cazalla, tanto en el casco urbano como en los campos pertenecientes a su término. Normalmente las ermitas eran construidas en las inmediaciones de los caminos que daban acceso a las poblaciones. Éstas subsistían gracias a las limosnas que aportaban los fieles y devotos de los santos a quienes estaban dedicadas. Una gran parte de las ermitas fueron construidas por Hermandades para dar culto a sus imágenes titulares y, por lo general, se erigía a su lado un hospital.
Existe todavía una gran confusión, no sólo sobre el número de ermitas construidas en La Puebla de Cazalla desde su fundación, sino también sobre su exacta localización. Así, tenemos constancia de que existieron las ermitas de San Sebastián, Santa Ana y Nuestra Señora de la Concepción, aunque por desgracia, todas ellas desaparecidas.