Le nom de Madrid a été mentionné pour la première fois au 10e siècle en tant que forteresse maure. Alfonso VI de Castille expulsa les Maures en 1083. Les clans de Castille se rencontrèrent plusieurs fois Madrid, et Ferdinand et Isabelle ainsi que l'Empereur Charles V résidèrent souvent là, mais Madrid ne devint capitale de l'Espagne qu'en 1561, sous le règne de Philippe II. La ville se développa doucement à l'origine puis s'étendit rapidement au 18e siècle sous le règne des rois Bourbons (spécialement Charles III). De cette période date la Place Royale et le Prado.

Au début de la guerre de la Péninsule, un soulèvement populaire contre les français pris place à Madrid le 2 Mai 1808, et une bataille féroce fut menée dans la Puerta des Sol, au milieu des terres du pays. En représailles, des centaines de civils furent tués la nuit le long de la promenade du Prado. L'événement de ce jour fut immortalisé par deux des plus célèbres peintures de Goya, toutes les deux exposées dans la galerie du Prado.

Madrid joua encore un grand rôle dans la guerre civile espagnole (1936-39), quand, sous le commandement du Général José Miaja, la ville résista 29 mois au siège des nationalistes, souffrant de sévères bombardements, d'attaques aériennes et d'encerclement, et marqua la fin de la guerre en mars 1939.

A la suite de la victoire nationaliste, le Général Franco débuta un règne qui dura près de 40 ans en Espagne. Bien que Madrid demeure la capitale, la ville fut profondément marquée par la guerre. Durant les 15 premières années sous Franco, Madrid s'appauvrit du au manque de capitaux et d'industries. L'économie s'améliora graduellement après 1950, amenant de nombreuses personnes dans la ville. Toutefois, le gouvernement de Franco avait peu de ressources et peu de services de police capable de traiter cet afflux d'immigration. Il en résultat que Madrid fut rapidement entouré d'un nombre important de bidon-villes. Après 1960, le gouvernement commença un important programme de construction de milliers de logements peu chers dans de grandes tours et vers 1970 les bidon-villes furent éliminées.

Après la mort de Franco en 1975, la vie à Madrid changea alors que l'Espagne se tournait vers un système de gouvernement démocratique.

En 1983, Madrid devint le centre de la Communauté Autonome de Madrid qui fut crée par la loi de 1981. La région s'étendue comme centre industriel pour devenir la communauté autonome la plus prospère. En 1992, Madrid fut désignée capitale culturelle de l'Europe, ce qui concentra l'attention internationale sur la ville et son art.