CIA'daki görev süresinin büyük bölümünü Latin Amerika'da geçiren ve 1975 yılında "Teşkilatın İçinde: CIA Günlüğü" adıyla yazdığı kitap nedeniyle Amerikan pasaportu elinden alınan Agee'nin ülser tedavisi gördüğü, birçok kez ameliyat edilmesinin ardından Küba'nın başkenti Havana'da öldüğü açıklandı.

Güney Amerika ülkelerinde sol hareketin güç ve taraftar kazandığı dönemlerde görev yapan Agee, kitabında, CIA'nın bu ülkelerdeki sol görüşlülere karşı izlediği siyaseti isim vererek deşifre etmişti.

Agee, pasaportunun 1979 yılında elinden alınmasının ardından, CIA'nın öç
alacağı korkusuyla bir süre Almanya'da yaşamış, daha sonra Havana'ya yerleşmişti. Küba'da adı komünist partiyle anılan Granma gazetesi, ölüm haberinde eski CIA ajanını, "Küba'nın sadık dostu ve halkın daha iyi bir dünya için verdiği mücadelenin ateşli savunucusu" olarak niteledi.