A jamaikai bevándorlók fia, Powell a New York-i Harlem és South Bronx szakaszokban nőtt fel ,és részt vett a New York-i Városi Főiskolán (B. S., 1958), a tartalék tisztek kiképző testületében (ROTC). Érettségi után belépett a hadseregbe, 1962-63-ban és 1968-69-ben Vietnamban szolgált, majd a washingtoni George Washington Egyetemen tanult., 1972-ben vette át első politikai pozícióját, mint a Fehér Ház munkatársa, és hamarosan frank Carlucci asszisztense lett, majd az igazgatási és Költségvetési Hivatal (OMB) igazgatóhelyettese. A következő években különböző tisztségeket töltött be, a Pentagonban és máshol, 1983-ban pedig Caspar Weinberger védelmi miniszter vezető katonai asszisztense lett. 1987-ben Carlucci helyetteseként csatlakozott a Nemzetbiztonsági Tanács személyzetéhez, majd a nemzetbiztonsági ügyek elnökének asszisztenseként. 1987 végén Pres. Ronald Reagan Powellt nevezte ki Carlucci utódjának., 1989 elején Powell átvette a hadsereg parancsnokságát.
1989 áprilisában Powell négycsillagos tábornok lett, augusztusban pedig Pres. George Bush a vezérkari főnökök egyesített bizottságának elnökévé nevezte ki. Elnökként vezető szerepet játszott Panama inváziójának (1989) tervezésében, valamint a Perzsa–öböl-válság és háború sivatagi pajzs-és Sivatagi Vihar hadműveleteiben (1990.augusztus-1991. március; lásd perzsa-Öböl-háború). 1993-ban vonult vissza a katonaságtól, azzal a spekulációval, hogy belép a politikába., Bár 1996-ban úgy döntött, hogy nem indul az elnökválasztáson, csatlakozott a republikánus párthoz, és nemzeti kérdésekben is szót emelt.
2001-ben a Pres államtitkárává nevezte ki. George W. Bush. Powell sikertelenül keresett szélesebb nemzetközi támogatást az iraki háborúhoz., Az Egyesült Nemzetek Szervezete előtt (2003. február) elmondott ellentmondásos beszéde később kiderült, hogy hibás hírszerzésen alapul. Powell a keményvonalasok által uralt kormányban politikai mérsékeltnek tekintette befolyását a Fehér Házban, és 2004-ben, nem sokkal Bush újraválasztása után bejelentette lemondását; 2005-ben Condoleezza Rice követte. Powell könyvei közé tartozik a My American Journey című önéletrajz (1995; Joseph E. Persico-val írt), és nekem dolgozott: az életben és a vezetésben (2012; Tony Koltz-szal írt).,