رسول اکرم (ص) قبل از هجرت به مدينه (يثرب) حضرت علي بن ابيطالب (ع) را به عنوان جامشين خود در مکه برگزيد تا پس از انجام برخي از امور نظير اداي امانات و انتقال اهل بيت پيامبر اکرم (ص)، به رسول خدا بپيوندد.  و خود شبانه در حاليکه مشرکين قصد جان ايشان را داشتند، به مدينه هجرت فرمود.  آن شب علي (ع) به جاي پيامبر خدا (ص) در بستر آن حضرت خوابيد و بدين ترتيب با از خود گذشتگي در راه خدا توطئة دشمنان را خنثي کرد و زمينة هجرت رسول الله (ص) را فراهم آورد.  آن شب در تاريخ ليله المبيت نام گرفته است و اين آيه در بارة فداکاري و سرفرازي علي (ع) در آن امتحان الهي نازل شده است:  و من الناس من يشري نفسه ابتغاء مرضاه الله ... و از مردم کساني اند که جان خويش را در راه رضاي خدا تقديم مي کنند. 

پيامبر (ص) پس از خروج از مکه براي گمراه ساختن فکر دشمن ابتدا به جنوب شهر مکه يعني جهت مخالف مسير مدينه عزيمت فرمود و در غار ثور پناه جست.  پس از آن از مسير عسفان حرکت کرده و در روز دوشنبه 12 ربيع الاول سال اول هجري در قريه اي به نام قبا فرود آمد. 

قبا در اصل نام چاه و محل سکونت قبيله بني عمروبن عوف انصاري بوده است.  بعضي آن را قبوه گفته اند.  قبايل قبا به گرمي از پيامبر (ص) استقبال کردند.  آن حضرت در منزل کلثوم بن هدم اقامت گزيد و خانة سعدبن خيثمه را محل پذيرايي و ملاقات با مردم و قبايل قرار داد.  پيامبر (ص) تصميم گرفت براي شناسايي بهتر منطقة يثرب موقعيت يهود و ... چند روز در اين قريه اقامت گزيند و اين انگيزه اي شد تا پيامبر (ص) اولين پايگاه عبادي را در آخرين ايستگاه هجرت به دست خويش بنا کند.  پيامبر (ص) زمين مسجد را از کلثوم بن هدم خريد و شخصاً حدود آن را مشخص کرد و خط قبلة آن را کشيد.

سپس آن حضرت دوش به دوش اصحاب به ساختن مسجد مشغول شد.  مکان مسجد در قسمت شمالي خانة کلثوم بن هدم و در سمت مجاور غربي خانة سعدبن خيثمه قرار داشت و ديواره هاي آن با سنگ و خشت برافراشته شدند.  سقف مسجد برروي سه رديف ستون استوار شد.  محل محراب پيامبر (ص) قبل از تغيير قبله به طرف ديوار شمالي مسجد بوده است و پس از تغيير قبله به ديوار سمت جنوبي تغيير يافته است. 

پيامبر اکرم (ص) به قدري در ساختن مسجد خود را به زحمت انداخته و خشت ها را بر دوش مي کشيد که اصحاب متاثر مي شدند و از ايشان مي خواستند تا در کناري بنشيند و فقط ناظر امور باشد ليکن پيامبر (ص) نمي پذيرفت و چنين زمزمه مي کرد:  قد افلح من يعمروالمساجد و يقرءالقرآن قائماً و قاعداً  ، رستگار کسي است که مساجد را بنا کند و در آن نشسته و ايستاده قرآن بخواند.  و در بعضي از منابع چنين آمده است: 

کسي که براي ساختن مسجد خود را به تلاش مي اندازد با کسي که کنار نشسته و نظاره مي کند تا مبادا خاک بر دامنش نشيند مساوي نيست.  شش تن از صحابه بزرگ از جمله سلمان فارسي و مقداد بن اسود نيز در ساختن اين مسجد بيشتر از ديگران تلاش مي کردند و خداوند با اين آيات اجر و پاداش سازندگان اين مسجد را ادا کرد... فيه رجال يحبون ان يتطهروا والله يحب المتطهرين،  مفسرين گفته اند: 

آية لمسجد اسس علي التقوي من اول يوم احق ان تقوم فيه ... (توبه ـ 107) در شان اين مسجد نازل شده است و آن هنگامي بوده است که گروهي از منافقين در سال نهم هجري از غيبت پيامبر (ص) که براي جنگ تبوک از مدينه خارج شده بودند، استفاده کرده و در مقابل مسجد قبا مسجدي ساختند تا تحت پوشش آن به توطئه عليه اسلام و مسلمين بپردازند و حتي براي کسب مشروعيت عمل خود هنگام بازگشت پيامبر از جنگ تبوک از ايشان خواستند تا در مسجد آنها نماز گزارد. 

ليکن در اين هنگام از جانب خداوند به پيامبر (ص) وحي رسيد که لا تقم فيه ابداً لمسجد اسس علي التقوي ... اي پيامبر هرگز در آنجا به نماز نايست زيرا مسجدي که در اولين روز (هجرت) بر اساس تقوي بنا شده سزاوارتر است که در آن به نماز بايستي تا مسجدي که بر شالودة نفاق و تفرقه و گمراهي بنا شده باشد.  در اين مسجد مرداني اند که دوست دارند پاک باشند و خداوند پاکان را دوست دارند.  پيامبر (ص) که از توطئة آنها آگاه شده بود، دستور داد تا آن مسجد را که پس از نزول آيه مورد اشاره مسجد ضرار نام گرفته بود تخريب کنند.

در فضيلت مسجد قبا روايات زيادي داريم از جمله آنکه نماز در اين مسجد برابر با حج عمره است.  پيامبر (ص) حتي پس از ساختن مسجدالنبي در هفته دستکم يکبار در اين مسجد به عبادت و نماز مي پرداخت و به روايتي آن حضرت شنبه ها پياده به مسجد قبا مي آمد.  بناي مسجد قبا در دوران عثمان بن عفان تعمير و گسترش يافت.  در زمان عمربن عبدالعزيز (78 ه ق) و از آن پس در دورانهاي ديگر نيز تا زمان عثماني و سعودي بارها تعمير شده و گسترش يافته است.  شبستانهاي مسجد، هرکدام گنبد مخصوصي دارند.  8 ستون موجود از شبستان متعلق به دوران خليفة سوم و عمربن عبدالعزيز اند.

صفه اي در مسجد است که گويند جاي نشستن ناقة پيامبر (ص) بوده است.  خانة کلثوم بن هدم و سعدين خيثمه در اثر توسعة مسجد تخريب شده اند.  محل نماز پيامبر در شبستان جنوبي، نزديک به ستون سوم است و در رکن غربي قبلة مسجد موضعي است که آن را مسجد علي (ع) گويند.  معماري کنوني مسجد از قرون اخير است.