由于巴格达迪的专业就是伊斯兰神学，又精通古兰经诵读，他“学以致用”，以自己的口舌煽动起一些不满现状的伊拉克人的反美情绪，号召他们起来反抗。巴格达迪在2003年帮助组建了民兵组织——先知之道与穆斯林共同体集团军（JJASJ），他在该组织中担任伊斯兰教法委员会的委员长，在他的煽动下，该叛军组织通过伊斯兰教这一纽带凝聚起一大批伊斯兰教逊尼派“圣战者”，参与反美叛乱，给美国为首的多国联军造成了不小的麻烦。
2003年，美军坦克在巴格达地标胜利之手拱门前
放虎归山
2004年2月2日巴格达迪在伊拉克安巴尔省费卢杰附近被驻伊美军逮捕，并被关押在巴格达中央监狱，随后作为民事罪犯押往布凯监狱。由于没有足够的证据表明巴格达迪直接参与了武装叛乱，驻伊美军于2004年12月将这位“低等级囚犯”释放，与他一同被关押并一同被释放的囚犯中有许多未来“伊斯兰国”的头目。
巴格达迪2004年进入布凯监狱时所拍摄的照片
出狱后的巴格达迪在巴格达大学继续攻读伊斯兰教神学博士，2006年他在古兰经诵读领域获得了博士学位。当年他和他的支持者一同加入了“伊拉克圣战者协商议会”（MSC），他在该组织是伊斯兰教法委员会的一员。“伊拉克圣战者协商议会”于同年年末更名为“伊拉克伊斯兰国”（ISI），巴格达迪也获得了晋升，成为该组织的伊斯兰教法委员会的委员长与高层协商会议的成员。
巴格达迪加入“伊拉克圣战者协商议会”后所拍摄的照片
