Klub založila v roce 1903 skupina baskických studentů jako Athletic Club de Madrid. Původní dresy byly modré a bílé, později klub přijal červené a bílé pruhy.
V prvním ročníku španělské ligy v roce 1928 skončil na šestém místě, první titul získal v roce 1940. Na kontě jich má celkem devět, naposledy získal titul v roce 1996. Španělský pohár vyhrálo Atlético rovněž devětkrát.

Prvního velkého úspěchu na evropské scéně se klub z Madridu, který v roce 1947 přijal název Atlético, dočkal na začátku šedesátých let. V roce 1962 porazil ve finále Poháru vítězů pohárů, v té době druhé nejprestižnější evropské soutěže, celek Fiorentiny.

Na další velký triumf v pohárové Evropě museli čekat fanoušci Los Rojiblancos dlouhých osmačtyřicet let. V roce 2010 gólem v nastavení porazili ve finále  premiérového ročníku Evropské ligy anglický Fulham. Dvě branky vítězů tehdy zaznamenal Diego Furlán.

Další triumf už přišel velice brzy, za pouhé dva roky. V letošním roce se Atlético znovu probojovalo do finále Evropské ligy a v souboji dvou španělských mužstev zvítězilo nad Atlétikem Bilbao 3:0.

Dvě branky vítězů vstřelil kolumbijský kanonýr Falcao.

Atlético trénuje Diego Simeone. Letos dvaačtyřicetiletý Argentinec působil v Atlétiku už jako hráč a oblékal rovněž dresy velkých klubů v italské lize, jako jsou Inter Milán nebo Lazio Řím.

V Atlétiku Madrid působili i dva čeští fotbalisté. V letech 2002 až 2005 oblékal pruhovaný červenobílý dres záložník Radek Bejbl a do loňského léta hrál za tým z hlavního města Španělska obránce Tomáš Ujfaluši.