El Centro Cultural Profr. Néstor Agúndez  tuvo su origen en la Casa de la Cultura de Todos Santos, la cual a su vez fue construida en terrenos de la Casa del Estudiante e inaugurada el 6 de octubre de 1978 por el entonces Gobernador del Estado, Lic. Ángel  César Mendoza  Arámburo, y  el Presidente Municipal de La Paz, el Dr. Francisco Cardoza Macías.

Ese edificio funcionó como Casa de la Cultura durante 18 años, en los cuales, bajo la dirección siempre apasionada del Profr. Néstor Agúndez Martínez, logró conjuntar y exhibir en un pequeño museo una amplia colección de objetos antropológicos, históricos, pictóricos, documentales y artesanales, entre muchos otros, que representaban objetivamente la historia y la vida cultural y cotidiana de esta comunidad. Así mismo estableció diversos talleres artísticos que apoyaban la generación de eventos culturales, actividad que venía promoviendo desde muchos años atrás en su calidad de profesor de primaria y después de secundaria. Finalmente ese espacio resultó ya insuficiente para albergar tal diversidad de actividades.

Fue en 1995 cuando a la escuela primaria Gral. Melitón Albáñez  le construyeron un nuevo espacio, por lo que desocuparon el antiguo e histórico edificio de rojos ladrillos. Así, el Profesor Agúndez hizo los trámites correspondientes para que la Secretaría de Educación Pública le entregara en comodato dicho inmueble con la finalidad de crear lo que denominó Centro Cultural Siglo XXI. Finalmente el 21 de octubre de 1996 la antigua Casa de la Cultura con todo su acervo se mudó a este recinto que originalmente, desde su inauguración en enero de 1931, albergara a la Benemérita Escuela Normal Rural y después a la prestigiada escuela primaria antes mencionada.