Согласно мирному договору, подписанному Дионисием Сиракузским с карфагенским предводителем Гимильконом, Акрагант и Гела получали право на существование, но без крепостных стен; кроме того, они провозглашались данниками Карфагена. В 339 г. до н. э. сиракузяне под предводительством Тимолеона одержали победу над карфагенянами при Кримиссе, и началось восстановление Акраганта, но прежнего блеска и могущества достичь уже не удалось. Возрожденный город был заселен выходцами из Велии. Некоторое время Акрагант пытался бороться за власть с Сиракузами, организовал антисиракузскую Лигу греческих городов, дважды терпел от сиракузян поражения, несколько раз переходил под власть то Карфагена, то Рима, пока в 210 г. до н. э., в ходе Второй пунической войны, полководец Валерий Левин не установил римскую власть окончательно. Последовали репрессии против сторонников Карфагена, город заселили выходцами из различных районов Сицилии.
Когда возникли трения между старыми жителями и «новоселами», римлянам удалось их уладить, и Акрагант сделался центром сельскохозяйственной территории, которую стали называть «зерновым погребом Рима». Площадь под посевами расширялась, а так как в латифундиях использовался рабский труд, то в городе и его окрестностях постоянно увеличивалось число рабов.
В 134 г. до н. э. вспыхнуло Первое сицилийское восстание рабов. Пятитысячная армия восставших взяла и разграбила Агригентум. В конце II в. до н. э. город еще раз был разграблен во время Второго сицилийскогро восстания рабов. С установлением империи к Агригентуму вновь приходит эпоха благосостояния и расцвета, которую нарушит только вторжение варваров и падение Западной Римской империи. Не позднее конца II в. н. э. в Агригентуме появилась христианская община. Согласно традиции, первым епископом города стал на рубеже III и IV вв. св. Либертин.
Приход византийцев принес городу устойчивое спокойствие, но не предотвратил прогрессирующего упадка. В 828 г. Агригентум взяли арабы. Впрочем, это не совсем так, потому что высадившаяся на Сардинии армия под командованием Асада ибн аль-Фурата состояла также из берберов, испанцев и персов. Город был полностью разрушен, а в 840 г. на его месте возникло берберское поселение Керкент, занимавшее район, который теперь называется Коллина-ди-Джирдженти.