Rrjedh nga një familje nacionaliste. Gjyshi i tij, Sulejman Agolli ka qenë me çetat e 1912-ës, me çetën e Butkës.  Në vitin 1949, xhaxhai arratiset. Familjes i konfiskohet pasuria dhe i ati internohet. Xhaxhai rikthehet në Shqipëri, burgoset dhe i ati kthehet në shtëpi, por në vitin 1951 internohet e gjithë familja në disa fshatra, si Gorishovë dhe Shtyllas, ku jetuan në kushte shumë të vështira. Lirohen nga internimi në vitin 1955, por vazhdon trajtimi si kulak. Adriatik Agolli arrestohet për tentativë arratisjeje dhe për plane për të vrarë Sekretarin e Partisë. Këtë plan e mohojnë dhe të akuzuarit e tjerë që u dënuan bashkë me të. Në këtë grup bënin pjesë Petraq Kolivani, Nesti Qymyrxhiu, Sotiraq Vangjeli, Niko Qakua etj. Ata u dënuan me 15 vjet burg, ndërsa Adriatik Agolli dhe Petraq Kolivani me 16. Ka vuajtur dënimin në Laç, në Elbasan, në Spaç, ku ka kryer punë të rëndë. Pjesëmarrës në revoltën e burgut të Spaccit.  Me normë pune fiton 16 muaj zbritje dënimi.