История группы началась в начале 2001 года. Основателями выступили два давних друга — Джо Троман (Joe Trohman) и Пит Вэнтц (Pete Wentz). Эти двое жителей Уилметта, пригорода Чикаго, начали играть вместе в 2001 году, причём стартовали они как метал-проект, но очень скоро убедились, что такое музыкальное направление их не устраивает. Гораздо больше музыкантов вдохновляли успехи Green Day, вслед за которыми они взялись за освоение поп-панка. После этого к Джо и Питу присоединился только что окончивший школу вокалист и гитарист Патрик Стамп (Patrick Stump) и барабанщик Энди Харли (Andy Hurley).
В 2001 году четвёрка своими силами записала и издала демо-кассету с тремя песнями, а в 2002-м нашёлся лейбл, который согласился издать альбом, объединивший по несколько треков Fall Out Boy и Project Rocket, бывшей группы барабанщика Энди Харли. После появления мини-альбома Fall Out Boy’s Evening Out With Your Girlfriend, получившего хорошие отзывы в местной прессе, Fall Out Boy уже вышли из категории тёмных лошадок, и менеджеры нескольких рекорд-компаний начали активно обхаживать молодую команду.
В мае 2003 года в дискографии Fall Out Boy появился полноформатный альбом «Take This to Your Grave», который засветился в Тор 10 независимого рейтинга продаж и стал веским аргументом для лейбла-мэйджора Island Records. Эта крепкая подборка панк-мелодий убедительно сочетала романтику и иронию, плотные гитарные риффы и пародию на поп-клише.
В мае 2004 года группа представила акустический мини-диск My Heart Will Always Be the B-Side to My Tongue, который включал римейк классики Joy Division — Love Will Tear Us Apart. Релиз пользовался заметной популярностью в панк-коммуне.
Наконец в мае 2005 года Fall Out Boy выпустили второй студийный альбом From Under the Cork Tree, который обязан своим названием детской книге The Story of Ferdinand за авторством Манро Лиф. Взрывной сингл Sugar, We’re Goin' Down принес в копилку Fall Out Boy первый стопроцентный хит, покорив 8-ю строчку Billboard Hot 100. Не последнюю роль в этом сыграл отличный видеоклип, который активно ротировался и удостоился награды MTV2 Award на церемонии вручения MTV Video Music Awards 2005. Ненамного отстал в чартах и второй сингл Dance, Dance. Даже организаторы Grammy не обошли четверку вниманием, выдвинув их на соискание премии в номинации «Лучший новый артист».
Несмотря на очень плотный гастрольный график 2006 года, Fall Out Boy умудрились найти время для записи нового альбома, третьего по счету. Пластинка, получившая название Infinity on High вышла в свет уже в феврале 2007 года. Синглы This Ain’t a Scene, It’s an Arms Race и Thnks Fr Th Mmrs мгновенно стали хитами, а группа отправилась в очередное мировое турне.