La Ermita de la Caridad es lo que queda del antiguo hospital de peregrinos o Caridad de Cristo. Hasta el momento se conocen pocos datos sobre su origen, y se cree que su construcción tuvo lugar sobre lo que fue una mezquita musulmana que, según Repartimientos, fue entregada a las Beatas de Arjona o monjas Santa Clara la Vieja, en la calle de las Carnicerías, hoy conocida como de la Caridad.
El edificio actual, tal como lo conocemos, ya existía a principios del siglo XVIII. Tiene una fachada sencilla dividida en tres partes. En el medio tiene un arco de medio punto hecho de piedra, y sobre el arco se ubica la espadaña para formar el campanario. A un lado y al otro podemos admirar dos falsos paneles de sillar con ventanas ovaladas.
Su interior se organiza desde una planta basilical, con tres naves abovedadas separadas por columnas dóricas y la nave central con una pequeña cúpula sobre el altar. En la cabecera se encuentra la camarín de Nuestra Señora, que se abre con un retablo neoclásico de mármol, a su izquierda se encuentra la sacristía del presbiterio.