For ca 10 000 år siden når istiden tok slutt ble Ågerøya “skapt”. På grunn av all den tunge isen som hadde lagt oppå henne i flere tusen år var Ågerøya da helt flat, men etter som årene gikk “este” den ut igjen. Det var først etter at det hadde gått ca 2000 år at det første menneske ankom øya. Grunnen til at han kom ut til øya var at det var gode fangstmuligheter. Her kunne han få tak i både fisk, fugl og sel. Etter at det første mennesket kom til Ågerøya har det nesten alltid vært beboere på øya. Men siden de fleste stammene der var nomader hendte det at øya av og til var ubebodd, men det varte ikke lenge om gangen.
På 1600-tallet var da de første fastboende kom, og i 1692 ble øya overlatt fra den danske kongen Christian V til en statsroller (vokter) med navn Fredrik Gyldenløv. På denne tiden kom det også mange nederlendere og de var ute etter den flotte eika på Ågerøya.
Men ettersom at Gyldenløv ikke ville gi fra seg eika gratis, endte det med at nederlenderne stjal store mengder eik fra et sted på øya som er blitt kalt Flekken. Etter at et par nye år hadde gått fikk en ny person ansvaret for øya, han het Smith og var statsroller han også. Det som betydde mye for Ågerøya på den tida var den gode uthavna(en havn med både gode inn og utseilings muligheter). Av den grunn var det mange seilskuter som kom til Ågerøya, som gjorde at butikker og overnattingssteder fikk gode inntekter.
Rundt 1851 kom det en lovendring i England som betydde mye for øya. Lovendringen gikk ut på at alle som ville kunne drive med frakting av varer. Og Ågerøya begynte å frakte hummer og tømmer. På grunn av de gode tømrerne fra øya, ble Ågerøya mer kjent i Frankrike, Nederland og England enn i sitt eget fylke. Men det som skjedde når lovendringen kom var at mange begynte med skipsfrakting, og folketallet på øya ble mindre.
Da 1. Verdenskrig kom, ble omtrent alle seilskutene som hørte til øya skutt ned. Og etter krigen var det en del som flyttet til Amerika, men de fleste flyttet inn til byen. Grunnen til at mange flyttet til byen var at den industrielle revolusjonen kom. Mange fabrikker ble bygget og folk flyttet til byen for der var det mer sentralt og det var lettere å få jobber for å tjene penger.
Etter noen år steg folketallet betydelig. Grunnen til dette var at rike folk ville slå seg ned og til ro på trygge landsteder. I løpet av en liten stund var folketallet forandret fra 30 til 300 mennesker.
Da 2.verdenskrig kom skjedde det to alvorlige skipsforlis rett utenfor Ågerøya. Den ene av forlisene var et stort skip som het Rio De Janeiro som var tyskt og som skulle til Bergen. Det andre forliset var et skip med navn Inger Johanne. Dette var et skip som ble tvunget til å frakte bensin helt opp til Oslo. Dette ente med en katastrofe. Når skipet ankom Ågerøya, eksploderte det og alle som var ombord døde. Etter krigen ble det mindre interessant å drive med jordbruk, og folketallet på Ågerøya sank mer og mer etter som årene gikk, og i dag bor det ca 40 fastboende igjen på øya.