L'avventura dei Paramore inizia a Franklin quando, dopo essersi trasferita nella città, Hayley Williams incontra i fratelli Farro, Josh e Zac. Il nome scelto per il gruppo viene da una parola francese, Paramour che significa "amore segreto".
La band si forma ufficialmente nel 2004, formata da Hayley Williams (voce), Josh Farro (chitarra), Zac Farro (batteria) e Jeremy Davis (basso), ai quali si aggiunge successivamente Jason Bynum (chitarra ritmica).
I ragazzi iniziano prestissimo ad esibirsi in numerosi spettacoli scolastici e locali fino ad arrivare alle "rock venues" più importanti della loro zona. Alla fine le dolci e carismatiche melodie del quintetto catturano l'attenzione della Fueled By Ramen, etichetta discografica con base in Florida, per la quale la band firma un contratto nell'Aprile del 2005.
La band si sposta ad Orlando (Florida) per registrare l’album di debutto, All We Know Is Falling, ma poco dopo il loro arrivo Jeremy Davis decide di lasciare la band per motivi personali. Così la band decide di basare la canzone All We Know e, successivamente, l’intero disco su questo episodio.
Lavorando con James Wisner (Dashboard Confessional, Underoath) e Mike Green (Yellowcard, the Black Maria), i Paramore registrano l’album, All We Know Is Falling, che viene pubblicato lo stesso anno, a Luglio. Appena prima di partire in tour John Hembree (basso) entra a far parte della band. I Paramore iniziano così il tour per promuovere l’album, dividendo il palco con numerose band tra cui Simple Plan e Straylight Run. Dopo 5 mesi, Jeremy Davis rientra a far parte della band, sostituendo Hembree. Nel Dicembre 2005 William ‘Hunter’ Lamb rimpiazza Jason Bynum alla chitarra. Nel frattempo il loro album di debutto ottiene numerosi elogi dalla stampa e il video di Pressure, il primo singolo, è sempre più spesso in rotazione su MTV . La band parte alla conquista del mondo e Emergency, il secondo estratto dall'album di debutto, conquista le classifiche in Gran Bretagna. Dopo il successo di All We Know Is Falling e una lunga tourné internazionale,a partire da Dicembre 2006 i Paramore decidono di dedicarsi alla lavorazione del secondo disco, RIOT!.
