Во второй половине VIII века в мусульманском мире началось формирование мистико-аскетического направления, которое стало известно как суфизм. Многие суфийские авторы связывают происхождение этого термина со словом сафа («чистота») или выражением ахль ас-суффа («люди навеса»), которое применялось по отношению к неимущим сподвижникам, проживавшим в мечети Пророка. Некоторые западноевропейские учёные полагали, что этот термин произошёл от греческого слова софиа, означающего «мудрость». Согласно самому распространённому мнению, суфии получили такое название, потому что носили грубые одежды из шерсти (араб. суф — «шерсть»).
В омейядский и ранний аббасидский периоды в мусульманском мире появились аскеты и подвижники, всецело посвящавшие себя поклонению и стремившиеся к духовному очищению путём отказа от земных благ. Распространение этого движения можно расценивать как результат влияния других вероисповеданий (в частности, христианского монашества) и реакцию против отступления многих мусульман от скромного образа жизни, характерного для периода сподвижников.
Однако термин «суфизм» возник не раньше первой половины IX века. В течение того же столетия велась активная разработка теории и практики суфизма. Большой вклад в это внесли Шакык аль-Балхи (ум. 810), аль-Харис аль-Мухасиби (ум. 857), аль-Джунейд аль-Багдади (ум. 910), Абу Язид аль-Бистами (ум. 875) и другие мистики. Большая заслуга в переосмыслении идей суфизма принадлежит Абу Хамиду аль-Газали (1058–1111). Оправдывая многие аспекты суфийской практики, он выступил против элементов пантеизма в идеологии отдельных мистиков.
В XII–XIII вв. суфизм превратился в важный элемент мусульманского общества в целом. В тот период начинают зарождаться суфийские ордены (тарикаты), которые обычно назывались по именам своих духовных учителей. Некоторым тарикатам удалось приобрести большое влияние не только на народные массы, но и на правителей, благодаря чему они получили большое распространение.
Важное место в суфийской теории и практике занимает почитание духовных наставников — муршидов. От их учеников (мюридов) требуется выполнение нелёгких требований аскетической этики и практики при беспрекословном повиновении муршиду. Наиболее авторитетных суфийских шейхов называют «угодниками» (вали), а вершину духовной иерархии занимают «божественные полюса» (кутб). Шейхам приписываются непогрешимость, способность к сверхъестественным поступкам (карамат), толкованию «скрытого» смысла канонических текстов, непосредственному контакту с Аллахом и т. п. Их захоронения являются объектами паломничества, где их почитатели испрашивают благодать (баракят) и ищут исцеления.
С самого появления суфизм выступал как крайне неоднородное направление, объединяющее как умеренные, так и «крайние» группировки. Богословско-философские и общественно-политические взгляды суфийских тарикатов сильно разнятся. Они развивались под влиянием различных социально-политических условий, в ходе непрекращающегося противостояния со сторонниками хадисов и различными школами калама.
В современном мире позиции суфийских тарикатов значительно ослаблены, что отчасти связано с секуляризацией обществ и изменением хозяйственных отношений. Тем не менее суфийские шейхи сохраняют авторитет и влияние в ряде стран Северной Африки, Центральной Азии, Пакистане, Индии и т. д. В России многочисленные последователи ряда тарикатов (накшбандийя, шазилийя, кадирийя, сухравардийя и других) имеются на Северном Кавказе.