Sebagian ahli sejarah menyatakan bahwa Masjid Agung didirikan pada tahun 1812 dengan bentuk bangunan panggung tradisional yang sederhana, bertiang kayu, berdinding anyaman bambu, beratap rumbia dan dilengkapi sebuah kolam besar sebagai tempat mengambil air wudhu. Air kolam ini sangat bermanfaat sebagai sumber air untuk memadamkan kebakaran yang terjadi di daerah Alun-alun Bandung pada tahun 1825.

Sumber lain menyatakan bahwa Masjid Agung didirikan bersamaan dengan pembangunan Pendopo Kabupaten Bandung di selatan Alun-alun yang diresmikan pada tanggal 25 September 1810. Sebuah pendapat cukup berdasar, karena Masjid Agung (selain Alun-alun dan Pendopo Kabupaten) merupakan salah satu elemen pusat kota tradisional di masa Hindia Belanda, sebagai symbol religiusitas pemerintahan dan masyarakatnya serta sebagai pusat keagamaan kota.

Masjid Agung merupakan bangunan yang sangat penting dalam tatanan massa bangunan di lingkungan Alun-alun. Masyarakat Priangan sangat taat dalam menjalankan ibadah Agama Islam, sehingga Masjid Agung merupakan pusat kegiatan spiritual dan keberadaannya merupakan suatu keharusan. Masjid Agung adalah tempat aktivitas shalat berjamaah, belajar mengaji dan berinteraksi sosial masyarakat seperti ceramah dan diskusi agama, memperingati hari keagamaan seperti Peringatan Maulid Nabi Muhammad SAW, Isra Mi’raj, Shalat Ied, dan tempat melangsungkan Akad Nikah., bahkan juga berfungsi sebagai Baitul Mal yaitu tempat penerimaan Zakat dan mengurus kesejahteraaan ummat.

Saat itu, Masjid Agung Bandung  lebih dikenal masyarakat sebagai “Bale Nyungcung”  karena bentuk atapnya yang lancip  (nyungcung) seperti gunungan.

Menurut catatan Dr. Andries de Wilde Sang Tuan Tanah Bandung Raya (1830), Masjid Agung berhadap-hadapan dengan Bale Bandong di sebelah timur. Bale Bandong befungsi sebagai tempat pertemuan dan menerima tamu terhormat Kabupaten Bandung.

Pengelolaan Masjid Agung pada masa itu secara instansional dikelola oleh Bupati dan  operasionalnya dilimpahkan kepada orang yang menjabat sebagai Penghulu Bandung. Penghulu itu berfungsi sebagai Top Manager yang mengatur Tata Tertib dan  kemakmurannya dengan dibantu oleh staf petugas yang diangkat dan diberhentikan oleh Penghulu tersebut sebanyak + 40 karyawan. Mereka melaksanakan tugasnya masing-masing sesuai ketetapan, ada yang menjadi Imam, Khatib, Muadzin Muroqi dsb.

Dengan adanya pengelolaan dan pemeliharaan yang sistematis itu maka syi’ar  dan  kemakmuran  masjid  bisa  terpancar  dengan  hasil  yang

memuaskan pada masa itu. Hal itu terwujud karena di samping berkat ketekunan para teknokrat masjid dalam melaksanakan tugasnya   sebagai khadim  (pelayan) umat, juga disebabkan honor/gaji karyawan yang cukup  memadai.  Honor tersebut diambil dari prosentase biaya Nikah Talak dan rujuk serta pemasukan zakat.

Sejak didirikannya, Masjid Agung telah mengalami delapan kali perombakan pada abad ke-19, kemudian lima kali pada abad ke-20.

Tahun 1826 bangunan Masjid Agung secara berangsur-angsur diganti menjadi bangunan berkonstruksi kayu. Tahun 1850 berangsur-angsur bangunan di kawasan Alun-alun dirombak untuk meningkatkan kualitas bangunan. Bangunan Masjid Agung diganti dengan bangunan tembok batu-bata dan atap genting atas prakarsa Bupati R.A. Wiranatakoesoemah IV atau Dalem Bintang (1846-1874)  Masjid Agung sudah dilengkapi pagar tembok di sekeliling Masjid setinggi kurang lebih dua meter bermotif sisik ikan yang merupakan gaya ornamen khas Priangan. Beberapa waktu kemudian penampilan masjid berubah menjadi beratap tumpang susun tiga seperti Bale Nyungcung, berpintu gerbang dan berhalaman luas.

Tahun 1900 Masjid Agung dibuat lebih representative, lengkap dengan cirri khusus seperti masjid tradisional pada umumnya, yaitu bentuk segi empat dan atap tumpang susun tiga, serta dilengkapi Mihrab, Pawestren, Bedug, Kentongan dan Kolam, tetapi belum dilengkapi dengan menara.

Tahun 1930 berdasarkan rancangan arsitek Maclaine Pont, Masjid Agung dilengkapi dengan serambi (pendopo) depan dan sepasang menara pendek beratap tumpang susun di kiri dan kanan bangunan.

Pada masa kemerdekaan, Masjid Agung Bandung yang juga sering disebut Kaum Bandung dipandang sebagai masjid yang paling cocok untuk dikatakan sebagai Masjid Ibukota Propinsi Jawa Barat, karena letaknya berada di pusat Kota Bandung yang menjadi Ibu Kota Propinsi,  suatu kota yang pernah menjadi tempat dilangsungkannya Konferensi pertemuan besar baik tingkat nasional maupun internasional seperti Konferensi Asia Afrika, Konferensi Islam Asia Afrika dsb.

Pada tahun 1955 Masjid Agung mengalami perombakan total. Perubahan drastis tampak pada atap. Atap tumpang susun tiga yang dipakai sejak tahun 1850 diubah menjadi kubah model atap bawang bergaya Timur Tengah. Kedua menara pendek dibongkar, serambi diperluas, ruang panjang di kiri kanan masjid (pawestren) dijadikan satu dengan bangunan induk. Sebuah menara tunggal didirikan di halaman depan Masjid sebelah selatan.

Kubah Masjid Agung sempat rusak akibat tiupan angina kencang sehingga perlu diperbaiki tahun 1965. Tahun 1967 dilakukan penambahan ruangan pada serambi kanan masjid sehubungan dengan berdirinya Madrasah Diniyah, Taman Kanak-kanak dan Poliklinik "YAPMA".

Kemakmuran Masjid Agung Bandung tampak lebih menonjol ketika itu karena dari masjid ini tidak hanya terdengar suara alunan adzan, shalat tapi juga gemuruhnya suara orang-orang yang sedang menuntut ilmu mulai dari tingkat  Taman Kanak-kanak sampai kakek nenek. Ceramah keagamaan dan kursus-kursus silih berganti bahkan lebih dari itu masjid juga dijadikan sebagai wadah untuk melayanai masyarakat yang sedang menderita sakit lahir, penyakit bathin dan masalah rumah tangga. Penyakit lahir dilayani oleh Dokter di Poliklinik, penyakit bathin dilayani oleh para ulama dan masalah rumah tangga dilayani oleh BP 4.

Kemakmuran Masjid Agung Bandung tampak lebih menonjol ketika itu karena dari masjid ini tidak hanya terdengar suara alunan adzan, shalat tapi juga gemuruhnya suara orang-orang yang sedang menuntut ilmu mulai dari tingkat  Taman Kanak-kanak sampai kakek nenek. Ceramah keagamaan dan kursus-kursus silih berganti bahkan lebih dari itu masjid juga dijadikan sebagai wadah untuk melayanai masyarakat yang sedang menderita sakit lahir, penyakit bathin dan masalah rumah tangga. Penyakit lahir dilayani oleh Dokter di Poliklinik, penyakit bathin dilayani oleh para ulama dan masalah rumah tangga dilayani oleh BP 4.

Gema dari Masjid Agung berupa pengajian, ceramah agama dapat diikuti oleh masyarakat bukan hanya yang datang ke masjid tapi juga dapat disimak melalui pesawat “Radio Megaria” pada gelombang 91,3 FM.   

 Perlu juga dikemukakan di sini Para Penghulu yang pernah menjabat sebagai Penghulu Bandung yang telah berjasa mengurus Masjid Agung Bandung  dari masa ke masa. Mereka itu adalah :

1. Penghulu Rd. KH.Zainal Abidin      

2. Penghulu K. Nasir    

3. Penghulu K.Hasan Mustofa

4. Penghulu K.Rusdi

5. Penghulu K. Abdul Kodir

6. Penghulu K. Siddiq

7. Penghulu K.R. Hidayat

8. Penghulu K. Muhammad Kurdi

9. Penghulu KH. Tamrin

10. Penghulu KH. Tb. Saleh

11. Penghulu KH. Dachlan

12. Penghulu KH. Moh. Yahya

13. Penghulu KH. Rd. Totoh Abdul Fatah

 

Atas inisiatif  dari  Bapak R.H.A. Satori Kepala Perwakilan Departemen  Agama  Propinsi  Jawa  Barat  mulai  dirintis  perubahan  dan perbaikan. Maka pada tahun 1969 direncanakan pembaharuan secara menyeluruh dan dibuatkan dalam bentuk miniatur (maket).

Setelah Bapak Solihin GP dilantik menjadi Gubernur Jawa Barat rencana tersebut lebih dimatangkan dan langsung beiau sendiri yang menyelesaikannya.

Berdasarkan hasil musyawarah dari semua unsur yang ada di Jawa Barat maka terbitlah SK Gubernur Jabar tanggal 1 Mei 1972 No. 106/XVII/Dirt.Pem./SK/72 tentang Pembangunan Masjid Agung Bandung dan Pengangkatan Personalia Pembangunan Masjid Agung Bandung. Sebagai Ketua Direksi adalah Bapak  H. Jahja dan waklinya Kepala DPU Jawa Barat Bapak Ir.Karman, sedangkan para perencananya  ialah :

1. Ir. Adjat Sudradjat

2. Prof.Dr. Sjadali

3. Ir. Noe’man

4. Ir. Luthfi

Para Arsiteknya adalah :

1. Ir. Slamet Wirasendjaja

2. Ir. Raswoto

3. Ir. Saharti

4. Ir. Toni Suwandito

Pada tanggal 3 April 1971 rencana itu baru dapat dimulai. Untuk tahap pertama pembuatan menara dan jembatan yang menghubungkan Masjid dengan Alun-alun.  Pembuatan Menara &  jembatan yang kokoh itu menghabiskan biaya sekitar Rp. 20.000.000,- dan selesai tanggal 4 januari 1972.

Setelah itu diadakan pembongkaran bangunan lama untuk segera dibangun masjid baru, dan hasil bongkarannya disalurkan/diwakafkan kepada masjid-masjid yang ada di Kota Bandung.

Pada tangga19 Juni 1972 berdasarkan SK Gubernur Jawa Barat No.234/A-V/16/SK/72 tentang Peletakan Batu Pertama Pembangunan Masjid Agung Bandung, maka dilakukanlah Peletakan Batu Pertama oleh Bapak Gubernur Jawa Barat bersama Pangdam VI Siliwangi.

Masjid diperluas, bangunan dibuat berlantai dua. Tempat pengambilan air wudhu dipindahkan ke ruangan di bawah permukaan tanah (basement) Lantai dasar dipakai sebagai tempat shalat utama dan ruang kantor, sedangkan lantai kedua difungsikan sebagai mezanin untuk tempat shalat yang berhubungan langsung dengan serambi luar yang dihubungkan dengan jembatan beton ke tepi Alun-alun bagian barat. Jembatan ini tambah "merusak" tampilan Masjid, karena hamper sepenuhnya menutupi tampilan bagian muka Masjid yang tampilan kedua sisi Masjid telah tertutupi bangunan. Menara lama dibongkar dan diganti dengan menara tunggal yang tinggi di tepi Masjid bagian selatan. Menara diberi ornament selubung (shading) dari bahan logam. Atap kubah model bawang diganti dengan model atap joglo.

Bangunan baru yang berada di atas tanah wakaf ditambah dengan tanah hasil pembelian Pemda Kotamadya Bandung seluas + 2.464.M2 menghabiskan biaya sebesar Rp. 135 juta dan selesai pada 1 Oktober 1973. bangunan baru itu dapat menampung + 5000 jamaah di lantai bawah dan + 2000 jamaah di lantai atas. Selain itu juga terdapat ruangan kantor,perpustakaan dan tempat wudhu. Biaya pembangunan tersebut diperoleh dari sumber sbb :

1. Sumbangan Bapak Presiden RI Rp. 15.000.000,-

2. Sumbangan Bapak Menteri Dalam Negeri Rp. 5.000.000,-

3. Sumbangan dana Nikah, Talak,Ruju’ (Depag) Rp. 42.000.000,-

4. Sumbangan dari simpanan Calon Jamaah Haji Rp. 22.000.000,-

5. Sumbangan dari APBD Prop.Jabar 1972/1973 Rp. 90.000.000,-

6. Sumbangan dari Pemda Kotamadya Bandung Rp. 14.000.000,-

7. Sumbangan dari Perencana Rp. 3.000.000,-

Mengenai qiblat Masjid Agung ialah 25 derajat ke arah utara dan khatulistiwa sesuai hasil  musyawarah Ulama  yang  dipimpin  oleh Penghulu  dari  Kotamadya Bandung, KH.R.Totoh Abdul Fatah dengan para peserta yaitu :

1. KH.Mh. Sudja’I dari Pesantren Cileunyi Bandung

2. KH.R.Ahmad Al-Hadi dari Pesantren sukamiskin

3. KH.O. Burhanudin dari Pesantren Cijaura

4. KH.R.Moh. Jahja dari Wakil Ketua Pengadilan Agma Bandung

5. KH.Moch.Dachlan Kepala Jaw. Pengadilan Tinggi Agama Prop. Jabar

6. KH.Ali Utsman  dari Jl. Pangarang Bandung

7. KL. Sasmita dari Jl. Nakula Bandung

8. KA. Iping Zainal Abidin dari JL. Mo Toha Bandung

9. K.Moh Salmon dari Jl Saledri Bandung

10. K.R..Moh. Jahja dari Jl. A.Yani Bandung

11. KH.R. Moh. Kosim Perwak. Depag Kodya Bandung

12. K. Isa Maftuh Staf Perwakilan Depag Kota Bandung

​

Juga dibantu oleh staf ahli dari Jawatan Pekerjaan Umum Propinsi Jawa Barat di bawah pimpinan Ir. Wahyu yang diselenggarakan pada Hari Senin, 8 Shafar 1391 H./ 5 April 1971.M.

Setelah diadakan pengecekan kembali oleh tim Pelaksana Penentuan arah Kiblat bersama Ulama pada tanggal 30 Mei 1972 maka terbukti bahwa hasil musyawarah Ulama tersebut memang tepat. Jadi Qiblat bagi Masjid Agung Bandung ialah 25 derajat dari Arah Barat.

Namun Bapak Gubernur Jawa Barat Bapak solihin GP masih menginginkan agar masjid terus dilengkapi dan disempurnakan sehingga peresmiannya ditangguhkan sampai tahun 1974 M.

Maka untuk merealisasikan keinginan tersebut, Bapak Gubernur selain menyediakan dana juga mengajak kepada kaum muslimin untuk ikut berpartisipasi langsung dengan dikeluarkannya Surat Edaran No.428/A.I/Kesra/ 73 tanggal 3 Oktober 1973, yang dipercayakan kepada Kepala Perwakilan Depag Prop Jabar Bapak .H. Zainal Dahlan, MA.

Perlu diketahui bahwa Ir. Soekarno (presiden pertama RI) pernah ikut andil dalam  pembangunan  Masjid  Agung  ini,  bahkan  beliau  juga  yang merencanakan untuk menjadikan Masjid Agung Bandung ini sebagai “Quwwatul Islam” (pusat kekuatan Islam) yang besar dan Agung, namun cita-cita itu gagal karena dihalang-halangi oleh pihak kolonial Belanda.

Tahun 1980-an, penampilan Masjid Agung sungguh memprihatinkan. di depan dinding muka Masjid dibangun tembok tinggi yang diberi ornament dari batu granit dan pintu gerbang besi. Dinding    ini  nyaris  menutupi  sepenuhnya  tampilan  Masjid  dan  memberi  kesan mengisolasi Masjid sebagai tempat "tertutup", kurang menarik perhatian bagi masyarakat yang lewat di depannya, mungkin ini akibat invasi bangunan pertokoan dan restoran di kiri kanan Masjid Agung,  sehingga keberadaan Masjid Agung  seperti terisolasi di antara hiruk pikuknya lingkungan Alun-alun Bandung dan sekitarnya. Puncak menara diganti menjadi model kubah mirip bola dunia yang terbuat dari rangka besi. Rangka besi kubah menara dililiti rangkaian lampu-lampu kecil yang dinyalakan di waktu malam.

Untuk mengembalikan citra Masjid Agung agar menjadi kebanggaan masyarakat Bandung dan Jawa Barat, maka terbitlah SK Walikota Bandung Nomor 023 Tahun 2001 tanggal 11 Januari 2001 tentang Panitia Pembangunan Masjid Agung. Maka di tangan arsitek Prof. Ir. Slamet Wirasonjaya MLA, IAI, Ir. H. Loekman IAI. dan Ir. Koelman IAI, Masjid Agung mulai mengalami perubahan yang cukup signifikan. Lantai Masjid diperluas dengan bangunan baru yang didirikan di Alun-alun bagian barat, sehingga memakan jalan umum di depan Masjid dan setengah luas Alun-alun. Atap model joglo diubah menjadi kubah beton berdiameter 30 M. Bangunan baru Masjid di lahan Alun-alun dihiasi oleh dua kubah berdiameter 25 M.

Renovasi Masjid yang besar-besaran ini ternyata mengundang perhatian Bapak Gubernur Jawa Barat, HR.Nuriana. Maka beliau mengundang para Panitia Pembangunan untuk mengadakan pertemuan. Dalam sebuah pertemuan itu, atas saran Wakil Ketua Pembangunan, Drs. H. Tjetje Soebrata, SH.,MM  timbul  gagasan  untuk  merubah  nama Masjid Agung Bandung  menjadi  “Masjid  Raya  Bandung  Jawa  Barat”.  Usulan itu beliau lontarkan mengingat provinsi Jawa Barat belum memiliki Masjid Raya. Usulan itu disambut dengan baik oleh Walikota Bandung, H. Aa Tarmana, yang kemudian disampaikan kepada Bapak Gubernur Jabar sehingga menjadi Masjid Raya Bandung Propinsi Jawa Barat dan diresmikan oleh Gubernur Jawa Barat H.R. Nuriana pada tanggal 4 Juni 2003.

Proyek Renovasi dan pembenahan ini diharapkan akan memancarkan nuansa baru Masjid Raya Bandung Propinsi Jawa Barat, terutama dengan dibangunnya menara kembar yang menjulang tinggi  masing masing 81 meter, yang semula direncanakan setinggi 99 meter. Hal ini mencerminkan  Nama-nama Allah SWT (Asmaul Husna). Tetapi karena  pertimbangan keamanan lalu lintas udara, maka tinggi menara kembar yang diizinkan hanya setinggi 81 meter. Namun menurut Ir. Gilang Nugroho (Site Manager), ketinggian menara kembar ini tetap 99 meter jika dihitung dari pondasi setinggi 18 meter. Menara Kembar tersebut selain berfungsi untuk kepentingan spiritual, juga akan dimanfaatkan untuk kepentingan komersial, telekomunikasi  dan obyek wisata. Atap tradisional Masjid diganti dengan bentuk kubah, sehingga kesan bangunan masjid akan lebih mudah dikenali. Luas Tanah keseluruhan adalah 23.448 M2, dan luas bangunan keseluruhan adalah 8.575 M2. Kapasitas jamaah Masjid lama adalah 7.836 jamaah. Kapasitas masjid baru 4.576 jamaah. Sehingga kapasitas seluruhnya mencapai 12.412 jamaah.

Setelah pembangunan masjid selesai, kemudian direncanakan penataan kawasan alun-alun yang dirasakan amat penting dan strategis, bukan saja untuk kepentingan masjid dan jamaahnya melainkan juga terkait aspek penataan Kota Bandung. Dengan kehadiran belasan ribu jamaah, misalnya pada waktu Shalat Jum'at, Shalat 'Ied dan Tabligh Akbar, mendatangkan konsekuensi dalam pengadaan lahan parkir kendaraan. Selain itu, kehadiran PKL dan pedagang di sekitar masjid dirasakan cukup mengganggu kenyamanan jamaah. Maka dalam upaya memberikan lahan parkir bagi jamaah dan memberikan aksentuasi bagi keindahan masjid direncanakanlah pembuatan basement di bawah taman alun-alun.

Bapak Walikota Bandung menyambut positif rencana tersebut dengan menerbitkan SK Walikota Bandung Nomor : 451.2/Kep.118-Huk/2004 yang mengangkat personalia kepanitiaan penataan kawasan alun-alun Kota Bandung.

Proyek  Renovasi  ini menghabiskan dana sebesar  Rp. 80 milyar, termasuk  penataan  kawasan  Alun-alun (plaza). Kawasan  Alun-alun  ini dibangun menjadi dua lantai yang masing-masing tingginya sekitar empat meter dengan  fungsi yang berbeda. Lantai paling bawah (9255 M2) dipergunakan untuk parkir saja, sedangkan lantai di bagian atasnya (8374 M2) selain untuk parkir juga dipergunakan untuk menampung para PKL, sarana kantor dan WC Umum.  Sedangkan di Alun-alun terdapat taman gantung yang mengadopsi dari Mediterania. Seluruh proyek Pembangunan ini - yang juga melalui kerja sama dengan pihak swasta- Alhamdulillah telah selesai dan diresmikan pada tanggal 11 Januari 2007 oleh Bapak Gubernur Jawa Barat, Drs. H. Danny Setiawan, M.Si dan Walikota Bandung H. Dada Rosada, M.Si.