A los 24 años, con el ascenso al poder de Idi Amin, Oryema tuvo que huir del país pasando la frontera en el baúl de un auto luego del asesinato de su padre, el miembro del gabinete ministerial Erinayo Wilson Oryema. Hoy sus canciones mantienen vivos los idiomas de su juventud, el swahili y el acholi.
Su primer álbum titulado "Exile", fue editado en 1990 bajo la producción de Brian Eno. El disco contó con la participación de Peter Gabriel, el cual interpreta el coro en los temas "Land of Anaka" y "Ye Ye Ye", mientras que David Bottrill toca la percusión y coproduce el disco. En éste álbum, el cantautor plasma su recuerdo del forzado viaje fuera de su país y la melancolía por su patria.
En 1993 se produce el lanzamiento de su segundo álbum "Beat the Border", a través del cual obtuvo reconocimiento internacional.[cita requerida] Cuenta con Jean-Pierre Alarcen como guitarrista, Brian Eno productor y las colaboraciones de Manu Katché y Ayub Ogada. El álbum evoca el espíritu y la cultura africana para los que viven en países del tercer mundo.
"Night to Night" es el tercer álbum del cantautor editado en 1996 en el que rememora episodios de su infancia en los campos de Uganda, noches en Kampala y viejas heridas vividas durante el régimen político de Idi Amin.1
Sus tres primeros álbumes fueron producidos por Peter Gabriel a través del sello discográfico Real World. Posteriormente firma con Sony International, un sello establecido en Francia, donde el reside desde su exilio. Además de los dos idiomas nativos mencionados, también canta en inglés y francés.
Sus canciones están musicalizadas con algunos instrumentos típicos de África, como la kora, así como con instrumentos contemporáneos como guitarra eléctrica y otros.
En julio de 2005, actuó en el concierto brindado en Cornualles, LIVE 8: Africa Calling y en Live 8 Edinburgh. Estos conciertos fueron parte de una serie de espectáculos que buscaban inclinar la atención de los líderes reunidos en el G8 hacia los temas de la extrema pobreza.
Debido a la poética de sus canciones y su particular voz, la prensa francesa e internacional se refiere muchas veces a él como "el Leonard Cohen africano".
Discografía
Exile (1990)
Beat the Border (1993)
Night to Night (1996)
Spirit (2000)
The Odysseus/Best Of (2002)
Words (2004)