Pada tahun 1981, warga masyarakat di Taman Meruya Ilir (TMII), Kelurahaan Meruya masih Kecamatan Kembangan (saat itu masih Kecamatan Kebon Jeruk) Jakarta Barat, mulai melakukan upaya ke berbagai pihak, agar ada tempat ibadah berupa masjid di lingkungan tersebut. Upaya yang dilakukan adalah membentuk panitia yang selanjutnya melaksanakan pertemuan dengan pihak terkait di Provinsi Daerah Khusus Ibukota (Pemprov DKI) Jakarta. 

Pada prinsipnya Pemprov DKI menyediakan dana untuk pembangunan masjid, dengan syarat setelah selesai dibangun harus ada badan hukum yang akan mengelola masjid dimaksud.

Dengan adanya persyaratan administrasi berupa badan hukum, panitia mulai menyiapkan berbagai kelengkapan dan syarat lainnya untuk membentuk satu badan hukum berupa yayasan. 

Pada tanggal 16 Desember 1983 dibentuklah Yayasan Al-Ikhwan Meruya selanjutnya disebut (YAIM), pada saat itu masih disebut Yayasan Al-Ikhwan (YAI) dengan Akta Notaris Sita Susikto SH. H. Indra Setiawan, diberi kuasa oleh 34 anggota dewan pendiri lainnya.

Setelah syarat berupa badan hukum itu dipenuhi, kemudian pada tanggal 20 Desember 1983, H. Indra Setiawan dan H. Zainal Asikin sebagai Ketua Umum dan Sekretaris Umum YAIM yang pertama, mengirim surat kepada gubernur Pemprov DKI Jakarta untuk meminta bantuan pembangunan sebuah masjid.

Alasan yang disampaikan dalam surat tersebut adalah bertambah banyaknya penghuni yang menempati komplek TMII, sehingga diperlukan tempat ibadah yang memadai. Selain itu juga telah diperoleh lahan dari PT. Labrata sebagai pengembang, untuk digunakan sebagai tempat ibadah yang berlokasi di Blok F1, Taman Meruya Ilir, Jakarta Barat.

Pada akhirnya, upaya pembangunan masjid berhasil diwujudkan. Hampir setelah dua tahun, pada tanggal 24 Mei 1985 Masjid Al-Ikhwan telah selesai dibangun dan diresmikan oleh wakil gubernur Pemprov DKI Jakarta H. Edy Nalapraya.