وقد أنشئ الديوان بموجب القانون الاتحادي رقم (7) لسنة 1976م وذلك تنفيذاً لأحكام المادة (136) من الدستور والتي تقضي بأن: تُنشأ إدارة إتحادية مستقلة يرأسها مراجع عام يكون تعيينه بمرسوم لمراجعة حسابات الإتحاد والأجهزة والهيئات التابعة له، وكذلك لمراجعة أية حسابات أخرى يوكل إلى الإدارة المذكورة مراجعتها طبقاً للقانون.​

كما صدر مؤخراً القانون الإتحادي رقم (8) لسنة 2011 " بإعادة تنظيم ديوان المحاسبة" ليحل محل القانون رقم (7) لسنة 1976 م المشار إليه، ويمارس الديوان عمله بناءًا على هذا القانون.