Esta ermita se construye en memoria de la reconquista de la ciudad de Carmona a manos del rey Fernando III el Santo, ocurrida el día 21 de septiembre de 1247, festividad de San Mateo, a quien se toma desde entonces como patrono de la localidad. Durante un tiempo la ermita fue parroquia de la collación de San Mateo, hasta que en tiempos de los Reyes católicos pasó a ser iglesia filial de la parroquia de San Pedro. El edificio fue restaurado en la segunda mitad del siglo XX, siendo reinaugurado en el año 1961, diez años después del comienzo de las obras. Dicha restauración ha servido para recobrar algunas de las viejas tradiciones carmonenses, como la del «pleito-homenaje» recuperada en 1978 y la procesión hasta la ermita en la que un alférez o síndico municipal porta el estandarte con el que fue reconquistada esta localidad.