El CAB surgió por iniciativa de los países andinos, en aras de desarrollar la integración educativa, científica, tecnológica y cultural de la región andina, bajo la premisa de que estos aspectos beneficiarían la integración económica emprendida preliminarmente en el Acuerdo de Cartagena.

A comienzos de junio de 1969, durante una reunión preparatoria del Consejo Interamericano de Educación, Ciencia y Cultura (CIECC), que se llevaría a cabo en Puerto España, Trinidad, el entonces Ministro de Educación de Colombia, Octavio Arizmendi Posada, bajo el gobierno del Presidente Carlos Lleras Restrepo, propuso a sus homólogos de los países andinos la iniciación de un esfuerzo conjunto en los campos educativo, científico y cultural.  La iniciativa y aprobada por los Ministros de Educación de los países del Pacto Andino: Bolivia, Chile, Colombia, Ecuador, Perú y Venezuela. A los seis países fundadores se han sumado Panamá, en 1980; España, en 1982; Cuba, en 1998; y Paraguay, en 2001. En 1972 Colombia fue elegida como país sede permanente de la Secretaría Ejecutiva, con Octavio Arizmendi Posada como primer Secretario Ejecutivo.