В середине IX века Западная Африка находилась под контролем Идрисидов и оставалась относительно спокойным регионом. Здесь нашли убежище многие берберы, которые были вынуждены покинуть Кордову и Кайруан. В столице Идрисидов — Фесе — они поселились в соседних кварталах, которые были разделены рекой.
Среди переселенцев из Кайруана был богатый араб Мухаммад ибн Абдаллах аль-Фихри, у которого было две дочери: Фатима и Марьям. После смерти отца Фатима скупила дома вокруг мечети в квартале кайруанцев и начала строить на еë месте новую мечеть, которую назвали Аль-Карауин. Её сестра Марьям в тот же период финансировала строительство новой мечети в квартале андалусцев на противоположном берегу реки.
Согласно источникам, строительство мечети Аль-Карауин было начато в рамадане 245/859 года, во времена правления Яхьи ибн Мухаммада, и в ширину она достигала 150 шибров, то есть около 33 метров. В ходе реставрации мечети над аркой старого михраба, использовавшегося до расширения мечети при Альморавидах, была обнаружена надпись, гласившая: «Эта мечеть построена в месяце зуль-када двести шестьдесят третьего года по велению имама Давуда ибн Идриса, да продлит Аллах его годы…»
Несоответствие между историческим риваятом и археологическим фактом трудно разрешимо. Возможно, строительство мечети было начато в 245 году от Хиджры и продолжалось до 263 года. Возможно, имя Фатимы не упоминается потому, что в те времена было принято связывать строительство мечетей с именами эмиров или их родственников, а Давуд ибн Идрис был сыном второго правителя из династии Идрисидов.
В любом случае мечеть Аль-Карауин сразу принесла оживление в религиозную жизнь Феса. Ибн Абу Зар пишет, что первую хутбу в мечети прочитал факих Абдаллах ибн Али аль-Фаси. Но есть мнение, что пятничные проповеди были перенесены в Аль-Карауин из соседней мечети Аш-Шурафа только при фатимидском наместнике Хамиде ибн Хамдане в 321/933 году.
В те времена в мечетях регулярно проводились занятия, детей обучали грамоте, чтению Корана и основам религии. Юноши и взрослые посещали занятия учёных, живших в городе или находившихся в нём проездом. Арабский географ и путешественник аль-Якуби (ум. 897) описывает Фес как большой город с прекрасными домами вдоль реки и возделываемыми землями в предместьях. Но настоящую славу городу могли принести учёные, и поэтому Идрисиды хотели сделать его привлекательным для улемов из соседних стран, в первую очередь из Кайруана.
В 274/887 году эмир Ахмад ибн аль-Касим ибн Идрис пригласил в Фес имама Абу Абд ар-Рахмана Бакра ибн Хаммада аз-Зинати, который был родом из Тиарета (на северо-западе Алжира), многие годы обучался в Машрике, а потом вернулся в Ифрикию и преподавал в Кайруане. С тех пор обучение в Аль-Карауине никогда не прекращалось, и поэтому университет был занесён в Книгу рекордов Гиннеса и получил от ЮНЕСКО статус старейшего действующего университета в мире.
Раньше был основан только университет Аз-Зейтуна в Тунисе, где преподавание началось примерно в 120/738 году, во времена вали Ифрикии Убайдаллаха ибн аль-Хабхаба. Ни одно другое учебное заведение в исламском мире или в Европе не может похвастаться такой историей. В знаменитом Аль-Азхаре обучение исламским наукам началось в рамадане 359/971 года. Врачебная школа при монастыре Монтекассино в Салерно существовала, вероятно, уже в IX или X веке, но получила известность во второй половине XI века благодаря тунисскому врачу Константину Карфагенскому, познакомившему европейцев с арабской медициной. Школа права в Болонье возникла примерно с середины XI века, в конце того же века преподавание началось в Оксфорде.
Ослабление Идрисидов в начале X века привело к тому, что Магриб оказался в эпицентре противоборства кордовских Омейядов и Фатимидов, правивших в Ифрикии. В 332/944 году Магриб на несколько десятилетий перешёл под власть Омейядов, и вали Феса Ахмад ибн Абу Бакр аз-Зинати начал расширять мечеть Аль-Карауин. Летом 345/956 года было завершено строительство высокого минарета мечети. А при хаджибе аль-Мансуре ибн Абу Амире на месте старого минарета в центре мечети был построен небольшой купол.
Между тем Фес быстро рос и обретал славу культурной и религиозной столицы Магриба. Пятничные молитвы в Аль-Карауине собирали столько верующих, что они не вмещались в мечеть и молились на соседних улицах и в лавках. В период расцвета государства Альморавидов кадий Феса Мухаммад ибн Давуд довёл до сведения эмира Али ибн Юсуфа ибн Ташфина просьбу жителей города расширить мечеть. Эмир пожелал финансировать работы за счёт казны, но кадий настоял на том, чтобы реконструкция велась за счёт вакфа и пожертвований.
Мухаммад ибн Давуд прежде всего изучил состояние вакфа и обнаружил, что попечители недобросовестно распоряжались его имуществом. Решением кадия были назначены новые попечители, а собственность прежних была отдана в распоряжение вакфа. На собранные средства, которых оказалось более 80 тысяч динаров, были приобретены дома вокруг мечети, а в конце 528/осенью 1134 началось строительство, продолжавшееся до шабана 538/конца февраля 1144 года. Первую хутбу в обновлённой мечети прочёл шейх Махди ибн Иса.
Перемены в мечети сделали вахф Аль-Карауина самым богатым в городе. Он обеспечивал преподавателей и студентов жильём и питанием, выделял им ежемесячную плату и пособия, жертвовал средства на строительство дорог, мостов и другие нужды. О роли Аль-Карауина в жизни Феса можно судить по тому факту, что в 723/1323 году, когда все документы вакфа сгорели в пожаре, кадий города постановил отнести к нему все соседние участки, кроме тех, чьи владельцы смогут подтвердить своё право на собственность.
Университет Аль-Карауин начинался как центр исламского образования, здесь преподавали Коран, хадисы, фикх и арабский язык. Но со временем учебная программа расширилась, и студенты получили возможность изучать калам, философию, математику, медицину, астрономию, химию, географию. Здесь впервые появились преподавательские кафедры, которые закреплялись за отдельными шейхами, а студенты получали дипломы. Кафедра в университете по своей значимости не уступала должности городского судьи или муфтия.
Интеллектуальная жизнь в Аль-Карауине не стихала ни при Альморавидах, ни при Альмохадах, но наивысший расцвет университета пришёлся на период правления Маринидов, сделавших Фес своей столицей (1248). По приказу султана Абу Саида Усмана рядом с мечетью было построено медресе Аль-Аттарин — оно получило своё название от находившегося по соседству рынка. Строительство этого восхитительного памятника архитектуры, прославившегося дивной резьбой по камню, продолжалось два года и было завершено 1325 году. Рядом с ним в 745/1344 году было основано медресе Аль-Мисбахия, на этот раз по приказу султана Абу аль-Хасана аль-Марини, сына султана Абу Саида. Примечательно, что медресе носило имя не султана, а его первого наставника Мисбаха ибн Абдаллаха аль-Ялсути (ум. 1350).
В Аль-Карауине преподавали такие именитые учёные, как законовед Абу Бакр Ибн аль-Араби (ум. 543/1148), историк и правовед Абу аль-Хаджжадж Юсуф ибн Абд ас-Самад аль-Фаси (ум. 614/1217), богослов и географ Ибн Рушайд ас-Сабти (ум. 721/1321). В стенах университета обучались Мухаммад Ибн Аджуррум (ум. 723/1323), автор самого известного трактата по арабской грамматике; Лисан-ад-Дин Ибн аль-Хатиб (ум. 776/1374), один из образованнейших учёных своей эпохи; выдающийся историк и «отец социологии» Абд ар-Рахман Ибн Хальдун (ум. 808/1406). Здесь провели свои студенческие годы еврейский богослов, философ и врач Маймонид (ум. 1204) и Герберт Орильякский — будущий римский папа Сильвестр II (ум. 1003).
В последующие столетия Ваттасиды, Саадиды и шарифы-алявиты также проявляли заботу об Аль-Карауине и приближали к себе имамов и преподавателей. Комплекс мечети неоднократно реставрировался и обновлялся, благодаря чему старинное здание в арабском стиле площадью 5845 кв. метров с высокими узорчатыми арками, мозаикой на стенах и с потолками из ливанского кедра хорошо сохранилось до наших дней.
В период европейской оккупации и последующие годы французского протектората шейхи Аль-Карауина подвергались давлению со стороны военных. Директора французских школ исключали учеников, которые посещали занятия в мечети и медресе. Когда в мае 1930 года был издан Берберский дахир, целью которого было разделить марокканцев берберского и арабского происхождения, Аль-Карауин стал центром и вдохновителем массового протестного движения, охватившего всю страну.
Тем не менее роль Аль-Карауина в жизни марокканского общества за годы колонизации значительно уменьшилась. Обучение в современных школах давало возможность продолжить образование, поступить на государственную службу и найти хорошо оплачиваемую работу. Только после обретения независимости Марокко и возвращения в страну свергнутого султана Мухаммада бен Юсуфа в 1956 году Аль-Карауин начал возрождаться.
С тех пор в университете произошли большие изменения, а в 1963 году при нём были открыты факультет основ религии в Тетуане, факультет арабского языка в Марракеше и факультет шариата в Фесе. В 2002 году в Марокко был принят закон об «образовании по старому методу», который регулирует обучение в медресе и приравнивает аттестаты и дипломы медресе к другим общегосударственным дипломам.