Agee 12 éven át szolgálta az amerikai központi hírszerző hivatalt, többek között Ecuadorban, Uruguayban és Mexikóban. Éppen Mexikóban szolgált, amikor az 1968-as olimpiát megelőző diákzavargásokat vérbe fojtottak, és úgy döntött, hogy szakít a szervezettel. Egy kubai misszió ürügyével a szigetországba ment, majd - átmeneti nyugat-európai tartózkodás után - később végleg ott telepedett le.
Nagy-Britanniából 1976-ban kitoloncolták az Egyesült Államok követelésére, miután Agee egy évvel korábban megjelentette A cégen belül: A CIA-napló című, 27 nyelvre lefordított könyvét, amelyben több tucatnyi, Latin-Amerikában és másutt dolgozó CIA-ügynököt leplezett le. Állítása szerint például a szervezetnek dolgozott maga Luis Echeverria mexikói elnök is. A könyvben feltárta az amerikai titkosszolgálat módszereit, valamint azt, hogy miként támogatta a CIA a latin-amerikai országok hagyományos elitrétegeit, és milyen útmutatásokat adott a baloldali erőkkel szembeni elnyomó gépezeteknek, a kihallgatóközpontoktól a halálbrigádokig. 1975-ben tanúskodott a latin-amerikai emberi jogsértésekkel és háborús bűnökkel foglalkozó II. Bertrand Russell-bíróság előtt.
Az 1970-es évek végén Agee Piszkos munka címmel két további kötetben nevesítette a Nyugat-Európában, illetve Afrikában tevékenykedő CIA-ügynököket, és kiadott támogatóival együtt egy "információs bulletint", amelynek nyílt célja volt az amerikai titkosszolgálat "destabilizálása". A "hírlevél" egészen 1992-ig működött, amikor a volt szovjet hírszerzés, a KGB archívumának egykori vezetője, Vaszilij Mitrohin nyilvánosságra hozta azokat a dokumentumokat, amelyek szerint Agee-t a szovjet "cég" szervezte be.
A volt CIA-ügynök, akit 1979-ben megfosztottak amerikai útlevelétől, 1980 és 1983 között Grenadán élt, amíg egy amerikai támogatású puccs meg nem döntötte Maurice Bishop miniszterelnök uralmát. Innen Nicaraguába menekült, a sandinista kormány fogadta be, majd a managuai jobboldali hatalomátvételt követően talált menedékre Kubába és felesége, Giselle Roberge táncosnővel kötött házassága nyomán német állampolgárságot kapott.
1987-ben megjelent, Szökésben című önéletrajzában leírta, hogyan üldözték el több NATO-országból, köztük Franciaországból, Olaszországból és az NSZK-ból a CIA-ügynökök leleplezése után, és a szervezet hogyan próbálta lejáratni őt azzal, hogy iszákos és nőbolond.
Agee élete utolsó éveiben egy internetes kubai utazási irodát hozott létre, amelynek célja az volt, hogy a Washington által elrendelt kubai utazási tilalmat megszegni kívánó amerikaiakat csábítson a kommunista országba. Tervét azonban a Bush-kormányzat szankciószigorításai csődbe vitték.
