Bağdat’ta doğmuş ve orada yaşamıştır. Doğum tarihi belli değildir. Küçük yaşta tahsile başladı, dayısı Serî es-Sakatî, önce şer‘î ilimleri öğrenmesini teşvik etti. Fıkıh okudu, hadis dinledi, sûfilerin sohbetinde bulundu. Şer‘î ilimleri iyice öğrendikten sonra kendini zühd, ibadet ve tasavvufa verdi. Aslında küçük yaştan itibaren tasavvufa hevesli idi. Henüz yedi yaşında iken şükrün ne olduğunu soran Serî’ye, “Verdiği nimete güvenerek Allah’a âsi olmamaktır” diye cevap vermesi onun bu alanda ne kadar yetenekli olduğunu göstermektedir. Belki de başta dayısı olmak üzere çevresinde büyük sûfîlerin bulunması, onun küçük yaşta tasavvufa yönelmesini sağlamıştır.
Cüneyd-i Bağdadî tasavvufun yanı sıra şer‘î ilimlerle de sürekli meşgul olmuştur. Tasavvufun derinliklerine dalıp zihni sürekli ruhî konularla meşgul olmakla birlikte geçimini sağlamak için ticaretle de uğraşıyordu. Dükkânında perde ile ayırdığı ibadete özel bir köşesi vardı. Serî es-Sakatî onu vaaz vermeye teşvik etmesine rağmen o kendisinde bu ehliyeti görmediğinden çekingen davranmış, ancak mânevî bir işaret üzerine meclis teşkil edip konuşmaya başlamıştır. Fenâ ve tevhid gibi tasavvufun ince ve güç anlaşılan konularını kapalı kapılar ardında anlatmayı tercih ediyor, bazen da bunları fıkıh perdesi altında gizliyordu.
Cüneyd-i Bağdadî tasavvuf terimlerini, usul ve esaslarını tesbit ederek tasavvufun ortaya çıkışını sağlayan büyük sûfîlerden biridir. Tasavvufî görüşleri hem kendi risâleleri hem de kaynak eserler yoluyla günümüze ulaşmıştır. Birçok ünlü sûfî onun sohbetinde bulunmuş, müridi ve halifesi olmuştur. Bağdat’ın Şûnîziyye Mezarlığı’nda dayısı ve şeyhi Serî’ es-Sakatî’nin yanında toprağa verilmiştir. Çeşitli İslâm ülkelerinde makamları mevcuttur. (Dia-Cüneyd-i Bağdadi)
Hikmetli sözlerinden bazıları şöyledir: “Tevekkül, ne kesb, yani kazanmaktır, ne de işi bırakıp boş oturmaktır. Tevekkül: Hak Teâlâ’nın vadine inanan kalbin, sükûn içinde yani, rızık endişesinden uzak bulunmasıdır.”
“Marifet, yüce Allah’ın ilmi yanında, insanın kendi cehâletini bilmesidir.”
“Hakk ile kulları arasında dört deniz vardır. Kul bunları geçmedikçe Hakk'a vasıl olamaz. Onların: Birincisi dünyadır, gemisi zühddür. İkincisi insanlardır, bunun gemisi halktan uzlet ve inzivâdır. Üçüncüsü İblistir, bundan kurtuluş ondan nefrettir. Dördüncüsü Nefistir, bunun gemisi de arzûlarına muhalefet etmektir.”
Cüneyd-i Bağdadî, zühd yolunu tutmuş olmasına ve tasavvufa bağlı bulunmasına rağmen ulema kisvesi ile dolaşırdı. “Niye sûfilerin hırkası gibi hırka giymiyorsun?” diye soranlara:
“Hırka ve yamalı elbise giymenin bir işe yarayacağını bilsem demirden ve ateşten elbise yaptırıp giyerim. Ama itibar hırkaya değil yanık kalbedir.”