Han indledte sin professionelle karriere i Brøndby IF i juli 2004 og vandt med holdet det danske mesterskab i 2005. Han fik sin landsholdsdebut i 2005 og blev hurtigt en fast mand i midterforsvaret, blandt andet i truppen til VM-slutrunden i 2010. I 2006 fik han kontrakt med Liverpool F.C., og her blev han snart en vigtig og populær spiller.
Efter en periode uden særlig megen spilletid skiftede Agger tilbage til Brøndby IF fra Liverpool F.C. i august 2014 i en transfer, der blev beskrevet som den på den tid største i Superligaens historie.
31. marts 2021 blev det offentliggjort, at han fra sommeren 2021 var valgt som cheftræner i 1. divisionsklubben HB Køge. I august 2024 blev han assistent for den midlertidige træner for det danske landshold, Morten Wieghorst.