این مسجد دومین مسجدی است که در اسلام بعد از مسجد النبی (ص) ساخته شده است و نخستین مسجدی است که در عراق بنا شده است. این مسجد در سال ۱۴ هجری قمری بعد از فتح عراق به دست « عتبه بن غزوان » ساخته شده است.
به گزارش گروه عکس خبرگزاری صدا و سیما؛ بنای اولیه مقام را عتبة بن غزوان، در سال ۱۴ هجری قمری، از نی درست کرد، اما پس از یک یا دو سال، دچار آتش‌سوزی شد. به همین علت، ابوموسی اشعری، دوباره آن را با خشت ساخت. سپس زیاد بن ابی‌سفیان نیز در دوره ولایت خود بر عراق از سوی معاویه، در سال ۴۵ هجری قمری آن را با گچ و آجر، بازسازی کرد.با این بازسازی، مسجد جامع بصره، به یکی از مساجد بزرگ و مهم صدر اسلام تبدیل شد و تا مدت‌ها، از اهمیت ویژه‌ای برخوردار بود. حضرت علی (ع) پس از پایان جنگ جمل، به این مسجد بصره وارد شد و در آن، اقامه نماز کرد و خطبه‌ای برای مردم شهر، بیان نمود. همچنین گفته می‌شود که امام حسن (ع) نیز به دستور امام علی (ع)، در زمان بازگشت از جنگ جمل، در این مسجد نماز خوانده است. امروزه مسجد جامع قدیم بصره، تقریباً از بین رفته و تنها بقایای اندکی از آن، در گوشه شمال غربی مسجد، باقی مانده است. اما در محل شبستان آن که به مقام امام علی (ع)، شناخته می‌شود، مسجد بزرگی با معماری به سبک جدید و غیرمتناسب با بنای قدیمی این مسجد و معماری سنتی عراق، ایجاد شده که دارای گنبد و مناره مربع مرتفعی است. امروزه این مقام، از زیارتگاه‌های مهم شیعه در بصره، به شمار می‌آید و در حال حاضر شیعیان بصره هر سال در روزهای زیارت اربعین امام حسین (ع)، به سمت این مسجد، پیاده‌روی می‌کنند.