1 Temmuz 1940’ta Ankara’da doğdu. Baba tarafından Kafkasya’dan gelip Maraş’a yerleşen bir aileye mensuptur. Babası Niyazi Bey hâkimdi. Annesi Şerife Hanım, Maraşlı Evliyazâdeler’dendir. Okuma yazmayı, resim yapmayı, Kur’an okumayı daha okula başlamadan annesi ve anneannesiyle mahalle hocalarından öğrendi. Babasının görevi sebebiyle çocukluğu Silvan, Baykan, Siirt, Siverek, Kızılcahamam ve Ankara’da geçti. Siverek’te başladığı ilk öğreniminin ardından orta öğrenimini 1951’de döndükleri Maraş’ta tamamladı. Lisenin son sınıfında beklemeli olduğu sırada bir ilkokulda vekil öğretmenlik yaptı. Pilotluk hevesiyle bir yaz boyunca Eskişehir’de Türk Hava Kurumu’nun uçuş kurslarına katılarak Millî Model Uçak B Sertifikası aldı (1961). Yüksek tahsilini, aynı yıl girdiği İstanbul Üniversitesi Edebiyat Fakültesi’nin Alman Dili ve Edebiyatı Bölümü’nde uzun süren bir öğrenciliğin ardından tamamladı (1971). 1967 ve 1973’te Almanya’ya gitti. Goethe Enstitüsü’nün dil kurslarına devam etti, belli başlı Avrupa şehirlerini dolaştı. Öğrencilik yıllarında İstanbul’da gazetelerde sekreterlik, bazı kurumlarda çevirmenlik gibi işlerde çalıştı. İstanbul’da özel bir lisede Almanca öğretmenliği yaptı. 1973’te Sarıkamış’ta başladığı askerliğini 1974 harekâtının ardından gönderildiği Kıbrıs’ta tamamladı (1975). Dönüşte Ankara’da bir kamu kuruluşunda, Türkiye Radyo ve Televizyon Kurumu Genel Müdürlüğü’nde çevirmenlik yaptı. Radyoda görevi raportör, araştırma görevlisi, uzman ve şef olarak sürdü. 1983’te İstanbul’a taşındı.

Maraş Lisesi’nde okurken edebiyatla ilgilenen bir arkadaş grubuna dahil oldu. Erdem Bayazıt, Mehmet Akif İnan, Rasim Özdenören ve Alaeddin Özdenören gibi ileride şair, hikâyeci ve yazarlar çıkaracak bu gruptaki arkadaşlarıyla Hamle adlı okul dergisini yeniden çıkardı. Bir taraftan da Maraş’taki mahallî gazetelerde sanat-edebiyat sayfaları hazırlıyorlardı. 1962’de tek sayılık Açı dergisini çıkardı. Aynı yıl İstanbul’da Sezai Karakoç’la tanıştı. Yeni İstiklâl gazetesinin sanat-edebiyat sayfalarında Abdurrahman Cem adıyla şiirler yayımladı (1965). 1966’da Diriliş dergisinde şiirleri, “İns” adlı uzun hikâyesi yayımlandı. Şiirleriyle Yeni Dergi, Soyut, Türk Dili, Papirüs gibi dergilerde de göründü. Edebiyat dünyasında tanınmaya başladığı bu yıllarda ilk kitabı İşaret Çocukları’nı çıkardı. Diriliş’te yazmayı sürdürürken 1969’dan itibaren Ankara’da Nuri Pakdil’in çıkardığı Edebiyat dergisinde bazı ürünleriyle yer almaya başladı. Bu derginin yayınları arasında şiir ve hikâye kitapları çıktı. 1976’da arkadaşları Rasim Özdenören, Erdem Beyazıt, Alaeddin Özdenören’le beraber Mavera dergisini kurdu. Bu verimli yeni çalışma döneminde derginin yönetimine katıldı, gençlerle yazışmalar yaptı, şiir ve yazılarını yayımlamayı sürdürdü. Dergiyle birlikte kurdukları Akabe Yayınları arasında şiirleri ve günlükleri kitap haline getirildi. Bunlara ardı ardına çıkan çocuk kitapları eklendi. Yönelişler şiirlerinin yayımlandığı bir başka dergi oldu. 1984’te Türkiye Yazarlar Birliği’nce kendisine çocuk edebiyatı dalında ödül verildi. İslâm coğrafyasının değişik bölgelerinde müslümanlara uygulanan zulüm ve baskılar, yaşanan acılar, savaş ve ölümler karşısındaki tepkileri şiir ve yazılarına yansıdı. Bir taraftan da Yeni Devir, Millî Gazete ve Zaman gazeteleriyle İslâm ve Gülçocuk dergilerinde Zarifoğlu, Ahmet Sağlam, Vedat Can gibi adlarla yazılar yazdı. Son şiirlerinden birkaçı Yedi İklim dergisinde çıktı. Son şiir kitabı Korku ve Yakarış yayımlandığında (1986) şair olarak ününün doruğundaydı. Yakalandığı pankreas kanserinden kurtulamayarak 7 Haziran 1987’de öldüğünde İstanbul Radyosu’nda denetçi idi. Ölümünün ardından şairler, yazarlar ve bilginlerin de katıldığı bir cenaze merasimiyle Beylerbeyi Küplüce Mezarlığı’nda toprağa verildi. Ardından şiirler yazıldı, eski geleneğe uyularak ölümüne tarih düşürüldü.

Cahit Zarifoğlu’na şiiri için elverişli bir dilin kapısını açan İkinci Yeni şairleri olmuş, kişiliği üzerinde belirleyici rolü Necip Fazıl Kısakürek ve Sezai Karakoç oynamıştır. Şiir tekniği bakımından belli bir şaire bağlanamayacak olan Zarifoğlu daha ilk şiirlerinde kendi sesini bulmuş, kendi kuşağı içinde şiirde yapı sorununu en iyi kavramış bir şair olarak görülmüştür. Nitekim ölümünün ardından yazılan bazı yazılarda “bir gün keşfedilecek özel bir ada” diye nitelenmiştir. İlk kitabı İşaret Çocukları’nda yer alan şiirlere çevresindeki tabiat öğeleri, hayatta gözlediği her türlü canlılık belirtisi, kımıldanış ve kıpırtı, mâsumluğun birer simgesi olan su, ağaç, anne, çocuk vb. şaire verdiği hayret duygusuyla girer. Bu özellikleriyle şiirleri, yaşamaya dayanak olan yeni bir hikmetin arandığı, yer yer de hikmet özlerinin yakalandığı şiirler olarak değerlendirilir. Şiirinde ve sanatındaki içsellik boyutunda Alman şiiriyle ve Rainer Marie Rilke ile kesişir. Yer yer ilk kitabında görülen “tahkiye”, ikinci şiir kitabı Yedi Güzel Adam’ın destansı bir tona bürünen dili içinde belirgin hale gelir. Bu şiirlerdeki iri ve adaleli erkek figürü estetik bir halde şekillenir. Onun sanatında fiziksel irilik seçkinlik, mânevî güç, aşk gibi içe ait değerlerin de bir ifadesidir. Menziller’de başlangıçtaki psikolojik yoğunluğun kısmen gevşeyerek rahatladığı şiirleri yer almaktadır. Son şiir kitabı Korku ve Yakarış’ta şairin özlü bir söyleyişe ulaştığı, ilk şiirlerindeki içselliğin toplumsal sorumluluk boyutuyla da birleşen mânevî bir kıvama kavuştuğu görülür. Yedi Güzel Adam’la aynı verim evresinin eseri olan İns’te şairi bir kültür mirası devralmamış, henüz kendisine kelime de verilmemiş ilk insanı, yaratılıştaki gizli sebebi araştırarak yeryüzünde hayret ve merakla yürürken buluruz. “Ne çok acı var!” cümlesiyle başlayan Yaşamak adlı günlükleri Türk edebiyatında bu türde yazılmış en orijinal eserlerden biridir. Zarifoğlu, Savaş Ritimleri adlı romanında Afganistan’ın işgal günlerini on dört yaşındaki bir çocuğun ağzından anlatmaktadır. Ölümünden sonra yayımlanmış, bir savaş pilotunun romanı olan Anne’de derin psikolojilerle iç içe geçmiş bir uçma serüveni anlatılır. Çocuk romanlarında insanî değerleri ve sorunları hayvanlar dünyasına aktararak hem çocukların hem de yetişkinlerin kendilerine göre tatlar bulduğu bir dil ve anlatım oluşturur.