Erguida em 1784 para servir de residência para o administrador de impostos da capitania de Minas, tornou-se mais tarde sede da Junta da Real Fazenda e da Intendência do Ouro, recebendo a denominação de Casa dos Contos. Também funcionou como local para pesagem e fundição do metal e como prisão dos inconfidentes - Cláudio Manuel da Costa foi encontrado enforcado em uma das celas. Hoje, pertence ao Ministério da Fazenda e expõe mobiliário dos séculos 18 e 19, coleção de moedas, documentos antigos e biblioteca especializada. Os forros dos tetos foram pintados por Mestre Athayde.