El Archivo de la Diputación surge al mismo tiempo que la institución, no obstante la primera noticia cierta de su existencia la tenemos en el “Reglamento interior de las dependencias de la Diputación Provincial de A Coruña” de 1889, que en sus artículos 64 al 71 establecían  sus funciones. Así mismo consta en 1888 el nombramiento como archivero-bibliotecario de Bernardo Barreiro de Vázquez Varela y el de Manuel Murguía en 1909 .

La sede del Archivo sufrió diversos traslados a través del tiempo:  durante el siglo XIX y la primera mitad del siglo XX, el Archivo acompañó a la  institución por los diversos edificios de la ciudad coruñesa que esta ocupó, entre ellos el edificio del Teatro Rosalía de Castro. En las décadas de los años 60 y los 70, la documentación fue depositada en el Pazo de Mariñán.

Desde 1985 el Archivo se encuentra en la calle Archer Milton Huntington. A partir de esta fecha se inician los trabajos de descripción documental que continúan en la actualidad.

Hoy en día el Archivo de esta Diputación Provincial constituye una sección que depende orgánicamente de la Secretaría General.