Construida en el siglo XVIII, la ermita de la Virgen de la Oliva es, sin duda, uno de los edificios más emblemáticos de la localidad, ya no sólo por su arquitectura, sino por albergar en su interior la imagen de Nuestra Señora de la Oliva, patrona de Valdilecha.
Las primeras referencias a este templo aparecen en el siglo XVI, en las 'Relaciones Topográficas' de Felipe II, en las que se señala que en las cercanías del pueblo hay una ermita bajo la advocación de Nuestra Señora de la Oliva. De esta descripción de 1576 se deduce que la ermita original podría datar del gótico medieval, pero que se reconstruyó en el Renacimiento. Por aquel entonces contaba con cuatro capillas funerarias particulares debido a su fama de "sanar coxos y tullidos".
La popularidad de la Virgen de la Oliva no sólo no disminuyó con el tiempo, sino que se acrecentó. En 1785, dos siglos después, en las 'Respuestas a Lorenzana', se explica que son los vecinos de Madrid los que de forma exclusiva mantienen los gastos de la ermita y de la casa de la Congregación, aunque, en aquellos tiempos, se encontraba "suspensa por haberse quemado". Son estos mismos madrileños los que deciden que la Fiesta de la señora sea movida al 8 de septiembre, tal y como se ha mantenido desde entonces.
El origen de la talla
Gracias a varias copias, se sabe que fue el vecino de Madrid, Manuel Andrés Dorado, quien, alrededor del año 1724, costeó la imagen de la Virgen que hasta la Guerra Civil se veneraba en Valdilecha.
Apenas unos años después, en 1837, el arzobispo de Toledo concedía 100 días de indulgencia a todos los pecadores que rezasen un avemería y una una salve delante de la imagen rogando por la paz y la concordia entre los príncipes cristianos, la extirpación de las herejías y la conversión de los pecadores.
La aparición de la Virgen
La tradición popular cuenta que mientras iba un pastor por el campo, se le apareció la imagen de una virgen sobre un olivo, por lo que fue a avisar al pueblo para que lo vieran, y allí construyeron una ermita para rendirle culto.