Tot groot verdriet van vader Brahms interesseerde zijn jongste zoon zich al vroeg voor een instrument dat hij nooit zou kunnen betalen: piano. Zelf was hij contrabassist, en moest zich heel wat materiële offers getroosten voor de muziekopleiding van zijn wonderkind Johannes (geboren in Hamburg op 7 mei 1833). Cossel en Marxsen waren zijn eerste leraars, en al vroeg dirigeert hij een mannenkoor en schrijft zijn eerste composities.
Om zijn ouders financieel te helpen speelt hij in nachtkroegen, en geeft pianoles, terwijl hij zijn gebrekkige algemene vorming kan bijwerken door zelfstudie.

Door een Hongaars violist te begeleiden leert hij de zigeunermuziek kennen, Brahms had enkele vrienden voor het leven, zoals de violist Joachim, Clara Schumann en de dirigent Hans von Bülow. Aanvankelijk behoorde ook Liszt tot zijn vrienden, maar al gauw ging hij die te theatraal vinden. Hij ondertekende zelfs mee een petitie tegen de "toekomstmuziek" van Liszt en Berlioz (niet tegen die van Wagner!), wat hem later nog duur zou te staan komen.

In Detmold is hij drie jaar na elkaar enkele maanden hofpianist, en wordt in het Teutoburgerwald natuurvriend. Zijn eerste pianoconcerto in Leipzig wordt een fiasco.

Na Detmold wil hij dirigent van de Philharmonie van Hamburg worden, maar als dat mislukt, verhuist hij naar Wenen als vrij kunstenaar. Op zijn eerste concert oogst hij enorm succes met werk van Bach, Schumann en ... van zichzelf, en mag zich verheugen in de gunstige kritiek van Hanslick.

Hij wordt overal beroemd als pianist, begeleider en dirigent en is op tournee in Hongarije, Polen, Nederland, Rusland, Denemarken, Frankrijk, Oostenrijk, Zwitserland, Engeland en Duitsland. Hij wordt ook doctor honoris causa in Cambridge en Breslau. In 1872 trekt hij in zijn eerste eigen woning in de Karlsgasse, en blijft er wonen tot zijn dood op 3 april 1897. Enkele tijd dirigeerde hij de "Wiener Singakademie" en daarna de "Gesellschaft für Musikfreunde", maar nergens bevalt hem het dirigeren langer dan enkele jaren. Toch is die ervaring met koren van groot belang voor zijn composities. Hij kan het zich veroorloven aanlokkelijke aanbiedingen aan zich te laten voorbijgaan, door de goede betrekkingen die hij onderhoudt met zijn uitgevers.

Over zijn verhouding met Clara Schumann wordt veel geroddeld, zeker na de zelfmoordpoging van Robert Schumann. Zelf trouwde hij nooit, naar hijzelf zegt uit schrik dat een eventuele vrouw de aanvankelijke fiasco's van zijn muziek niet zou verdragen. Aan de verhouding met de 25-jarige Agathe von Siebold maakt hij echter zelf een einde "omdat hij geen knellende banden kon verdragen". Als Clara in 1896 sterft, verergert zijn leverkwaal; en hij componeert nog slechts enkel koraalvoorspelen. Waarschijnlijk was hij zich niet bewust van zijn toestand en hij sterft bewusteloos.