858 yılında Tur şehrinde doğdu. Hallac "pamuk atan" demektir. Hallac'ın büyükbabası Zerdüşt inancına mensuptu. Hallac genç yaşında Kur'an'ı ezberlemişti ve sık sık kendini dünyevi meşgalelerden uzaklaştırıp diğer sûfîlerin eserlerini incelemeye adamaktaydı.

Evlendikten sonra bir sene kalacağı Mekke'ye Hac ziyaretinde bulundu. Daha sonra uzun seyahatlere çıktı ve eserini kaleme aldı. Hindistan veOrta Asya'ya da ziyaretlerde bulundu. Abbasilerin başkenti Bağdat'ta ikamet etti.

Hallac yaşamının ilk dönemlerinde sûfî üstadları olan Cüneyd-i Bağdadi ve Emr el-Mekki'nin talebeliğinde bulunduğu fakat daha sonra onlar tarafından reddedildiği söylenmektedir. Ancak Hallac'ın da dahil olduğu Bağdat tasavvuf okulu tevhid konusundaki öğretilerinde ileri bir seviyeye ulaşmışlardı ve halk tarafından yanlış yorumlanacağı endişesiyle öğretilerini bizzat kendileri gizlemekteydiler. Nitekim bir söylentiye göre bu okulun ileri gelenlerinden biri olan Cüneyd-i Bağdadi tasavvuf'un esrarını sadece yakın çevresiyle konuşmakta, başkaları duymasın diye de evinin kapılarını örtmekteydi. Cüneyd'in yakınlarından birine yazdığı ve ilk tasavvuf teorisyen ve tarihçilerinden Serrac'ın Luma adlı eserinde aktardığı mektubundaki ifadeler de bunu kanıtlamaktadır: "Seninle mektuplaşmama engel olan şey, mektubumun, senin bilgine mâlik olmayan birinin eline geçmesi endişesidir. Çünkü ben bir müddet önce Isfahan halkından bazı kimselere bir mektup yazmıştım, mektubum açılmış, kopyası alınmış. Onda yazılan bazı şeyler o insanlara yabancı gelmiş. Bu insanlara acımak lazımdır. İnsanlara bilmediklerini söylemek, onlara anlamadıklarıyla hitabetmek, onlara acıma gereklerinden değildir."