Mehmet Karaca ve Toto Karaca (İrma Felegyan)'nın oğlu olan Cem Karaca, sanatla iç içe büyüdü. Orta öğrenimini Robert Lisesi'nde yapan Cem Karaca sanatçı bir çiftin çocuğu olduğundan müziğe doğuştan yetenekliydi. Müzik ile ilk tanışması annesinin teyzesi Rosa Felegyan'ın Cem Karaca'ya piyano notaları ve piyano nağmeleri öğretmesi ile oldu. Karaca'nın sesinin keşfedilmesi ise annesi Toto Karaca tarafından gerçekleşti.
1962'ye girerken Beyoğlu Spor Kulübü'nde arkadaşlarının isteği üzerine şarkı söyledi. Arkadaşları ile sahne alan Karaca, daha sonra grup kurmaya karar verdi. Gruba o dönemin ünlü sanatçılarından İlham Gencer destek oldu. Cem Karaca'nin ilk grubu 1963'te Dinamikler oldu. Ancak 1963'ün sonunda grup dağıldı. Daha sonra farklı gruplarla çalışan Karaca 1965'te ilk evliliğini tiyatro sanatçısı Semra Özgür ile yaptı. Evlendikten 3 gün sonra Karaca, askere gitti. Askerliğine 1965 Kasım'ında Antakya 121. Jandarma Er Eğitim Alayı'nda başladı. Bu dönemde Karaca, Anadolu kültürünü tanımaya başladı. Aşık Mahzuni Şerif ile tanıştı.
Cem Karaca, askerlik sonrası Şubat 1967'de gitarist Mehmet Soyarslan'ın kurduğu Apaşlar grubu ile tanıştı. Apaşlar daha önceleri batı tarzı müzik yapmaktaydı ancak Karaca ile tanıştıktan sonra müzik daha doğuya döndü. Karaca, grup ile birlikte Altın Mikrofon 1967'ye katıldı. Yarışmaya katıldıkları Emrah şarkısı Erzurumlu Emrah'ın şiirine yapılmış bir Karaca bestesiydi. Yarışmada Karaca'nın grubu ikinci oldu ancak birinci olan gruptan daha çok ilgi gördüler. Cem Karaca ve Apaşlar, 1968'de Almanya'ya gidip Ferdy Klein Orkestrası ile 45'likler kaydetti. 1969'da grup içinde fikir farklılıkları olmaya başladı. Cem Karaca, daha siyasi müziğe kaymak istediği için gruptan ayrıldı.
Apaşlar dönemi bittikten sonra grup müziğine devam etmek isteyen Karaca, Apaşlar'ın bas gitaristi Seyhan Karabay ile Kardaşlar grubunu kurdu. 1970'in başında grup üyelerinde birçok değişiklikler oldu. Grup üyeleri sabitlendikten sonra, Almanya'da kayıt yapmaya karar verdiler ancak çıkan bir salgın yüzünden, Karaca ve Kardaşlar birlikte Almanya'ya gidemedi. Bu yüzden Cem Karaca, tek başına Köln'e gitti. Apaşlar sonrası yaşadığı müzikal aradan sonra burada kendi besteleri ve Anadolu türkülerini yine Ferdy Klein orkestrası ile kaydetti. 4 tane 45'lik yayınlandı. Ancak Kardaşlar gitaristi Seyhan Karabay ile anlaşmazlıklar baş gösterdi ve Karaca, Kardaşlar ile yollarını ayırdı. Bu sırada eşi benzeri görülmemiş bir değiş-tokuş meydana geldi. Cem Karaca, Kardaşlar'dan ayrılıp Anadolu Rock'ın güçlü sesi Moğollar'la birleşirken Kardaşlar da Moğollar'la anlaşamayan Ersen Dinleten'i gruplarına dahil etti.
Cem Karaca ve Moğollar, birleştikten bir ay sonra Kasım 1972'de Hey dergisi için verdikleri konserde ilk kez sahne aldılar. Yıl sonunda ulusal bir ankette Cem Karaca, en iyi erkek şarkıcılar listesinde 2. oldu, Moğollar ise en iyi yerli topluluk seçildi. Hey Dergisi'nde ise ikisi de kendi dallarında 1. seçildiler.
1973'te "Obur Dünya / El Çek Tabip" 45'liği yayınlandı. Ancak grubun asıl başarısı 1974'ün başında kaydedilen "Namus Belası" şarkısı ile kazanıldı. Şarkı çok popüler oldu, öyküsü Hey dergisinde çizgi roman olarak yayınlandı. Ancak bu plak sonrası Cahit Berkay çalışmalarını Fransa'da devam ettirmeye karar verince Cem Karaca ve Moğollar yollarını ayırdı.
Moğollar'dan ayrılan Cem Karaca, önce Fransa'ya gitmeyen Moğollar elemanları Mithat Danışan ve Turhan Yükseler ile "Karasaban" grubunu kurdu ama uzun ömürlü olmadı. Mart 1974'te Dervişan grubunu kurdu. Grup ilk konserlerinden birini Kıbrıs harekatından sonra Hava Kuvvetleri'ne yardım konserinde verdi.
Şubat 1975'te Cem Karaca'nın en önemli eserlerinden biri olan "Tamirci Çırağı" yayınlandı. 1975'in sonunda "Mutlaka Yavrum/Kavga" 45'liği yayınlandı. 45'liğin ilk şarkısı Mutlaka Yavrum, Filistin Kurtuluş Örgütü için hazırlanmıştı ve 2 farklı Türkçe versiyonunun dışında piyasaya yayınlanmamış İngilizce ve Arapça versiyonları da vardı. 1976'nın başında TRT'de yayınlanacak olan "Kavga" şarkısı son anda nedeni açıklanmayan bir sebepten dolayı programdan çıkarıldı. Aynı yıl Cem Karaca, Hey dergisi tarafından bir kez daha en iyi erkek şarkıcı olarak seçildi.
Mart 1980'de Sıkıyönetim Mahkemesi'nde Karaca'nın "1 Mayıs" plağı "komünizm progandası" nedeni ile yargılanmaya başladı. Bu davada şarkıcı Cem Karaca, şarkının bestekarı Sarper Özsan ve plak şirketi sahibi Ali Avaz da suçlanıyordu. Cem Karaca, bu dönemde Avrupa turnesine başlamıştı. Dava başladıktan kısa bir süre sonra da babası Mehmet Karaca'yı kaybetti. Cem Karaca, babasının cenaze törenine katılamadı.
12 Eylül darbesi sonrası Sıkıyönetim Mahkemesi tarafından Cem Karaca yurda çağrıldı. 13 Mart 1981'e kadar süre tanındı. Bonn'da yaşayan Cem Karaca, yurda dönmek için ek süre istedi. 15 Temmuz 1982'ye kadar Cem Karaca'nın süresi uzatıldı ancak Karaca, Türkiye'ye dönmeyeceğini belirtti ve süresi dolduktan sonra ise 6 Ocak 1983'te Türk vatandaşlığından çıkarıldı.
1985'te Karaca, arkadaşı Mehmet Barı aracılığıyla Başbakan Turgut Özal ile görüşerek, ülkeye geri dönme isteğini bildirdi ve Münih'e gelen Özal ile konuştu. Özal'ın olumlu yanıt vermesi ile hukuki işlemler başlatıldı. Yıl sonunda vatandaşlıktan çıkarılmasına sebep olan davadan beraat etti. 1987'de de hakkında verilen gıyabi tutuklama kararı kaldırıldı. 29 Haziran 1987'de Cem Karaca, Türkiye'ye döndü. Aynı yıl Merhaba Gençler ve Her Zaman Genç Kalanlar albümünü çıkardı. Bu albüm o senenin en çok satan albümlerinden biri oldu. 1988'de bu albümü Töre takip etti. Bu albüm sonrası Cem Karaca, yasaklı olduğu TRT ekranlarına da çıkmaya başladı.
Cem Karaca, 13 yıl önce bugün, 8 Şubat 2004 sabahında, solunum ve kalp yetmezliğine bağlı olarak ağır bir kalp krizi geçirdi. Uygulanan tüm müdahalelere rağmen kaldırıldığı Bakırköy Acıbadem Hastanesi'nde 59 yaşında hayata gözlerini yumdu. Hastane tarafından yapılan açıklamada Karaca'nın ölüm sebebi kalp ve solunum durması olarak belirtildi. 9 Şubat 2004'de ikindi vaktinde Üsküdar Seyyit Ahmet Deresi Camii'nde kılınan namazın ardından Karacaahmet Mezarlığı'nda babası ile aynı mezara defnedildi.
