La mezquita fue construida hace más de 100 años por un buscador de perlas emiratí que vivía en Al Khan, un pueblo de pescadores en el sur de los emiratos.
Rashid Al-Aqroubi construyó la casa de culto, que más tarde se conocería como la mezquita Al Aqroubi, en 1904, antes del descubrimiento del petróleo y mucho antes de la formación de los Emiratos Árabes Unidos. Quería un lugar en el que él y sus colegas pudieran orar cada vez que regresaran del mar.
La mezquita, situada en el borde de la costa de Al Khan, tiene unos 80 metros de ancho, una de las más pequeñas del país.