Peygamber Efendimiz (s.a.v.) Medine-i Münevvereye hicret ettiklerinde ilk olarak orada bir mescit yaptırmışlardır. Mescid-i Nebevi`nin inşasına başlanacağı sırada Cebrail aleyhisselam indi ve duvarlarının yedişer arşın yüksekliğinde olmasını, hiçbir tarafına nakış ve ziynet yapılmamasını ve harcın sade çamurdan ibaret bulunmasını tavsiye etti.
Resû lullâh Efendimiz (s.a.v.) bir taş alıp temele Besmele ile koydular. Sonra Hazret-i Ebû bekir, Hz. Ömer, Hz. Osman ve Hz. Ali`ye sıra ile birbiri yanına taşlar koymalarını emir buyurdular. Bunun hikmetini sual edenlere:
'Bu zatların halifeliklerine işarettir' buyurdular.
Resû lullâh Efendimiz (s.a.v.), Kıble değiştirildiğinde Mescidü`l-kıbleteynde öğle namazını kıldıktan sonra Mescid-i Nebeviye teşrif buyurdular. Hemen Hazret-i Cebrail aleyhisselâm indi ve:
'Yâ Resû lallâh! Ben Beytullah ile Mescidiniz arasındaki ağaçve taşları kaldırdım. Mescidinizin mihrabını Beytullâh`a bakarak yerleştiriniz' dediler.
Resulü Ekrem Efendimiz (s.a.v.) Beytullâh`ı görerek mihrabın mevkiini bizzat tayin ettiler ve mihrab-ı şerifin Mizâb-ı rahmeye (Altın Oluk`a) mukabil olduğunu haber verdiler. Bu vaka Bedir gazasından iki ay önce olmuştur.