Los Estados Miembros de la UNESCO adoptan el primer acuerdo mundial sobre la ética de la inteligencia artificial. Este titular procedente de la página oficial de la UNESCO (25/11/2021) ha recorrido el mundo y merece una atención por nuestra parte.
Pero no es la primera llamada de atención hacia la ética de esta herramienta poderosa. En noviembre de 2020, en la Red de Oración del Papa se invitaba a los creyentes a orar y desear una justa y recta utilización de la robótica y de la Inteligencia artificial (IA).
La UNESCO llama la atención sobre la Inteligencia Artificial (IA)
El titular de la página web de UNESCO era expresivo: “Audrey Azoulay, Directora General de la UNESCO, presentó el jueves (25 de noviembre de 2021) la primera norma mundial sobre la ética de la inteligencia artificial, adoptada por los Estados Miembros de la UNESCO en la Conferencia General.
Para la UNESCO, este texto histórico establece valores y principios comunes que guiarán la construcción de la infraestructura jurídica necesaria para garantizar un desarrollo saludable de la IA.
La IA es omnipresente, y hace posibles muchas de nuestras rutinas diarias, desde la reserva de un vuelo, la conducción de automóviles sin conductor y la personalización de nuestras noticias matutinas. La IA apoya también la toma de decisiones de los gobiernos y el sector privado.
Las tecnologías de la IA están dando resultados notables en ámbitos muy especializados, como la detección del cáncer y la construcción de entornos inclusivos para personas con discapacidad. También puede ayudar a combatir problemas globales como el cambio climático y el hambre en el mundo y a reducir la pobreza optimizando la ayuda económica.
Pero la tecnología también está trayendo consigo nuevos retos sin precedentes. Asistimos a un aumento de los prejuicios de género y étnicos, a amenazas significativas contra la privacidad, la dignidad y la capacidad de acción, a los peligros de la vigilancia masiva y al aumento del uso de tecnologías de la IA poco fiables en la aplicación de la ley, por nombrar algunos. Hasta ahora, no había normas universales que dieran respuesta a estos problemas.
En 2018, Audrey Azoulay, Directora General de la UNESCO, lanzó un ambicioso proyecto: dar al mundo un marco ético para el uso de la inteligencia artificial. Tres años después, gracias a la movilización de cientos de expertos de todo el mundo y a intensas negociaciones internacionales, los 193 Estados Miembros de la UNESCO acaban de adoptar oficialmente este marco ético.
El texto inicial es significativo:
«El mundo necesita reglas para que la inteligencia artificial beneficie a la humanidad. La Recomendación sobre la ética de la IA es una respuesta importante. Establece el primer marco normativo mundial, al tiempo que otorga a los Estados la responsabilidad de aplicarlo a su nivel. La UNESCO apoyará a sus 193 Estados Miembros en su aplicación y les pedirá que informen periódicamente sobre sus progresos y prácticas» (Audrey Azoulay, Directora General de la UNESCO).
El contenido de la recomendación de la UNESCO
La Recomendación de la UNESCO tiene como objetivo hacer realidad las ventajas que la IA aporta a la sociedad y reducir los riesgos que conlleva. Garantiza que las transformaciones digitales promuevan los derechos humanos y contribuyan a la consecución de los Objetivos de Desarrollo Sostenible, abordando cuestiones relativas a la transparencia, la rendición de cuentas y la privacidad, con capítulos políticos orientados a la acción sobre la gobernanza de los datos, la educación, la cultura, el trabajo, la atención sanitaria y la economía.
- Protección de datos
La Recomendación pide que se actúe más allá de lo que hacen las empresas tecnológicas y los gobiernos para garantizar a las personas una mayor protección, asegurando la transparencia, la capacidad de actuar y el control de sus datos personales. Afirma que todos los individuos deberían poder acceder a sus registros de datos personales o incluso borrarlos. También incluye acciones para mejorar la protección de los datos y el conocimiento y derecho del individuo a controlar sus propios datos. También aumenta la capacidad de los organismos reguladores de todo el mundo para hacerla cumplir.
- Prohibición de los marcadores sociales y la vigilancia masiva
La Recomendación prohíbe explícitamente el uso de sistemas de IA para la calificación social y la vigilancia masiva. Este tipo de tecnologías son muy invasivas, vulneran los derechos humanos y las libertades fundamentales y se utilizan de forma generalizada. La Recomendación subraya que, a la hora de desarrollar marcos normativos, los Estados Miembros deben tener en cuenta que la responsabilidad última y la rendición de cuentas deben recaer siempre en los seres humanos y que no se debe otorgar personalidad jurídica a las tecnologías de IA por sí mismas.
- Ayudar a supervisar y evaluar
La Recomendación también sienta las bases de las herramientas que ayudarán a su aplicación. La Evaluación del Impacto Ético pretende ayudar a los países y a las empresas que desarrollan y despliegan sistemas de IA a evaluar el impacto de esos sistemas en las personas, la sociedad y el medio ambiente.
La metodología de evaluación del grado de preparación ayuda a los Estados Miembros a evaluar su grado de preparación en términos de infraestructura jurídica y técnica.
Esta herramienta ayudará a mejorar la capacidad institucional de los países y a recomendar las medidas adecuadas que deben adoptarse para garantizar la aplicación de la ética en la práctica. Además, la Recomendación anima a los Estados Miembros a considerar la posibilidad de añadir el papel de un funcionario independiente de ética de la IA o algún otro mecanismo para supervisar los esfuerzos de auditoría y seguimiento continuo.
- Protección del medio ambiente
La Recomendación subraya que los actores de la IA deben favorecer métodos de IA eficaces en cuanto a datos, energía y recursos que ayuden a garantizar que la IA se convierta en una herramienta más destacada en la lucha contra el cambio climático y en el tratamiento de los problemas medioambientales.
La Recomendación pide a los gobiernos que evalúen el impacto medioambiental directo e indirecto a lo largo del ciclo de vida del sistema de IA. Esto incluye su huella de carbono, el consumo de energía y el impacto ambiental de la extracción de materias primas para apoyar la fabricación de tecnologías de IA. También pretende reducir el impacto medioambiental de los sistemas de IA y las infraestructuras de datos. Incentiva a los gobiernos a invertir en tecnología verde, y si hay un impacto negativo desproporcionado de los sistemas de IA en el medio ambiente, la Recomendación instruye que no se utilicen.
Las tecnologías emergentes tales como la IA han demostrado su inmensa capacidad para hacer el bien. Sin embargo, hay que controlar sus impactos negativos, que están exacerbando un mundo ya dividido y desigual. Los desarrollos de la IA deben respetar el estado de derecho, evitar los daños y garantizar que, cuando éstos se produzcan, los afectados tengan a su alcance mecanismos de responsabilidad y reparación.
Como complemento de esta información, el Texto completo de la Recomendaciónes accesible en este lugar; y más sobre la ética de la inteligencia artificialy también se puede tener información sobre los 24 expertos que redactaron el borrador de Recomendación.
Cerebro humano e Inteligencia Artificial (IA)
El debate científico-técnico y sus implicaciones éticas se centra en el conocimiento de cómo funciona el cerebro humano y si se puede (técnica y éticamente) construir una máquina que lo iguale e incluso lo supere.
El cerebro humano contiene alrededor de 86.000 millones de neuronas que forman billones de puntos de contacto. La obtención de imágenes de un cerebro completo a resoluciones celulares produce datos en el rango de varios petabytes. La microscopía electrónica de todo el cerebro equivaldría a más de un exabyte de datos.
Comprender el cerebro en toda su complejidad requiere conocimientos de múltiples escalas, desde la genómica, las células y las sinapsis hasta el nivel de todo el órgano. Esto significa trabajar con grandes cantidades de datos, y la supercomputación se está convirtiendo en una herramienta indispensable para conseguirlo.
Human Brain Project
Los nuevos avances en neurociencia exigen tecnología informática de alto rendimiento y, en última instancia, necesitarán potencia informática a exaescala, tal y como refieren en el último número de Science la científica del cerebro Katrin Amunts y el experto en supercomputación Thomas Lippert.
En nuestra época de las nuevas tecnologías, la mente vuela y el mestizaje futuro entre humanos, humanoides, cyborg, ultrahumanos, trashumanos, robots parece ser que forma parte del debate sobre nuestro futuro y si deberemos compartir el espacio con nuevas mentes no humanas. Hay muchas fronteras abiertas. El diálogo interdisciplinar en las fronteras se hace más necesario.
El Papa Francisco: que los avances de la robótica e inteligencia artificial sean «humanos»
Hace más de un año, el ‘Video del Papa’ de noviembre 2020 con ocasión de la Red Mundial de Oración del Papasalió a la luz con un mensaje sobre el progreso que suponen los avances de la robótica y la inteligencia artificial. Francisco pone el acento en la necesidad de orientarlos “al respeto de la dignidad de la persona y de la Creación”.
Se dio a conocer la intención de oración que el Santo Padre confía a toda la Iglesia Católica para este mes de noviembre. La Red Mundial de Oración del Papa (que incluye el Movimiento Eucarístico Juvenil – MEJ), lanzó el Video del Papa hoy, 5 de noviembre, con una nota de prensa en la que profundiza sobre el mismo. A continuación, las palabras del Santo Padre:
«La inteligencia artificial está en la raíz del cambio de época que estamos viviendo. La robótica puede hacer posible un mundo mejor si va unida al bien común. Porque si el progreso tecnológico aumenta las desigualdades, no es un progreso real. Los futuros avances deben estar orientados al respeto de la dignidad de la persona y de la Creación. Recemos para que el progreso de la robótica y de la inteligencia artificial esté siempre al servicio del ser humano… podemos decir “sea humano».
Tal como escribe la Red Mundial de Oración del Papa, de noviembre de 2020 el Papa llama la atención sobre el cambio de época que la humanidad está atravesando gracias a los avances de la inteligencia artificial. Para Francisco, este progreso debe estar siempre “al servicio del ser humano”, respetando su dignidad y cuidando la Creación.
Avances estén unidos al bien común
No es una novedad – dice la nota que difunde el vídeo – que, en los últimos años, la Inteligencia Artificial (IA) ha avanzado a un ritmo exponencial, como lo evidencian sus múltiples aplicaciones en distintos campos del conocimiento. Hoy el 37% de las organizaciones en el mundo ha implementado IA de alguna manera (lo que supone un aumento del 270% en los últimos cuatro años). El Papa Francisco aclara que este avance, como el de la robótica, “puede hacer posible un mundo mejor si va unido al bien común”. En este sentido, espera un progreso tecnológico que no aumente las desigualdades en la sociedad, ya que, si no, no se trataría de un “progreso real”, uno que considere la dignidad de la persona y el cuidado de la Creación.
Inteligencia artificial al servicio del ser humano
La inteligencia artificial – leemos – es capaz de resolver muchas cuestiones que tienen al ser humano en el centro: entre otras, puede evaluar la capacidad de aprendizaje de los estudiantes para detectar oportunidades de mejora; puede ayudar a personas con disminuciones visuales o auditivas para desarrollar mejores herramientas de comunicación (como la traducción de texto a voz o de voz a texto); o puede agilizar la recopilación, el procesamiento y la difusión de datos e información sanitarios para mejorar el diagnóstico y el tratamiento de pacientes, especialmente en aquellos que viven en zonas remotas.
Lo mismo – concluye el comunicado – en el campo de la ecología: por ejemplo, gracias a la inteligencia artificial es posible analizar datos sobre el cambio climático y elaborar modelos que puedan ayudar a predecir catástrofes naturales.
También sirve para crear ciudades inteligentes y sostenibles: con reducción del gasto urbano, resiliencia de las carreteras y aumento de la eficiencia energética, entre otras cuestiones.
Hay enormes posibilidades de utilizar el progreso para el bien común y este video, realizado con imágenes de Enel, una empresa energética multinacional y uno de los principales actores integrados en los mercados mundiales de la energía, el gas y las energías renovables, y del Instituto Italiano de Tecnología, muestra algunas de ellas.
La Inteligencia Artificial y la autocompresión de lo humano
En nuestro mundo del siglo XXI emerge una verdadera revolución en la autocomprensión del ser humano. La filosofía transhumanista parece trastocarlo todo. Incluso la misma identidad de la naturaleza humana. Es extensa la literatura que genera rondando a veces la ciencia ficción.
Uno de los filósofos que más está colaborando a la clarificación conceptual y ética de este fenómeno es el profesor Carlos Beorlegui, doctor en filosofía y licenciado en teología por la Universidad de Deusto, Catedrático emérito de Filosofía en la UD y profesor invitado de la UCA José Simeón Cañas (San Salvador), desde 1993. En las páginas de FronterasCTR hemos publicado hace pocas semanas uno de sus trabajos. La labor académica e investigadora de Beorlegui se ha centrado en temas como la Antropología filosófica, la Historia de la Filosofía española y latinoamericana, la Filosofía de la mente, la Ética de las profesiones y El hecho religioso.
El profesor Beorlegui pertenece al consejo de redacción de la revista Pensamiento y ha publicado numerosos artículos en revistas de filosofía españolas y latinoamericanas. Entre sus libros publicados destacan: Antropología filosófica. Nosotros: urdimbre solidaria y responsable (1999, 2004, 2009), La singularidad de la especie humana. De la hominización a la humanización (2011), Antropología filosófica. Dimensiones de la realidad humana (2016), Humanos. Entre lo pre-humano y lo post- o trans-humano (2019).
Su último libro merece nuestra consideración: Nuevas tecnologías, trans/posthumanismo y naturaleza humana. Editorial Comares, Granada, 2021, Colección Filosofía hoy, número 79, 415 páginas. Con su autorización, recogemos algunas de sus propuestas que nos parecen iluminadoras para un diálogo en las fronteras.
Para Beorlegui, el ser humano ha ido forjando su ser y su identidad a lo largo de su propia historia. El ser humano se ha hecho a sí mismo construyendo todo tipo de artefactos y herramientas con los que ha ido transformando su entorno vital y a sí mismo.
Etapas en la comprensión de la Inteligencia Artificial
Cuando se escribe la historia de la IA, siguiendo el hilo del extenso trabajo del profesor Carlos Beorlegui se advierten varias etapas con sus respectivos retrocesos, crisis o inviernos. Vamos a comenzar por analizar los primeros momentos históricos, para luego continuar con las etapas más significativas.
No podemos entender lo que ha supuesto la Inteligencia Artificial sin acudir a las propuestas pioneras de Alan Turing (1912-1954)[LAHOZ-BELTRÁ, Rafael, Turing, Ediciones Nivola, 2005; HODGES, A., Alan Turing: The Enigma, Londres, Vintage, Random House, 2012; DE LEON, M./TIMÓN, A., Rompiendo códigos. Vida y legado de Turing, Madrid, Libros de la Catarata, 2013; COPELAND, B. Jack, Alan Turing. El pionero de la era de la información, Madrid, Turner, 2013; DYSON, George, La catedral de Turing. Los orígenes del universo digital, Barcelona, Debate, 2015].
Todos sus biógrafos y estudiosos sitúan a Turing en el momento crítico de la ingeniería informática de los tiempos contemporáneos. Los aspectos más importantes de su exitosa, al mismo tiempo que trágica biografía, son suficientemente conocidos, por lo que nos centraremos en lo que aquí nos interesa más directamente.
Turing, a la hora de acercarse a investigar sobre la inteligencia, en vez de hacerlo de forma directa, lo hace a través de una forma singular, el juego de la imitación, proponiendo en sus escritos, como el artículo “Computer machinery and intelligence” [TURING, A., “Maquinaria computadora e inteligencia”, en ROSS ANDERSON, Alan (ed.), Controversia sobre mentes y máquinas, Barcelona, Tusquets, 1984. Este artículo también se ha traducido como “¿Puede pensar una máquina?”, en TURING, A./PUTNAM, H./DAVIDSON, D., Mentes y máquinas, Madrid, Tecnos, 1985 (presentación de M. Garrido)]. Y en él sus hipótesis sobre lo que se ha denominado el test de Turing, por el que se le considera el padre de la informática, anticipando muchos de los desarrollos de la IA futura, e intuyendo la gran importancia que tendría el aprendizaje automático en el desarrollo de las máquinas inteligentes.
Las objeciones que se han presentado a la máquina o test de Turing han sido muy diversas, siendo una de las más conocidas la de J. Searle con su parábola de la habitación china, a la que haremos referencia más adelante. Nos vamos a detener aquí en la objeción de la falta de capacidad lingüística de la máquina de Turing. El pasar exitosamente el test de Turing se suele consideras que es una condición suficiente, pero no necesaria, puesto que hay seres inteligentes, como los monos, que nadie duda de su inteligencia, pero no pasarían el test.
Pero está claro que nos estamos refiriendo a la inteligencia humana, y ésta sí está dotada de capacidad lingüística. El habla es la habilidad de expresar las diversas capacidades intelectuales que poseemos, capacidad que tienen, en distinta medida, los animales. Por eso, si queremos construir inteligencias artificiales similares a las humanas, si no poseen la capacidad lingüística para entender y expresarse, tendremos que concluir que su inteligencia no está a la altura de la humana.
Con la inteligencia social, los humanos construimos el mundo cultura y accedemos a él. Sin esa habilidad, no podemos conceder a una máquina inteligente la posesión de la IA fuerte. De ahí que, como veremos más adelante, los esfuerzos actuales de las investigaciones se orientan a crear máquinas capaces de entender y hablar el lenguaje natural. Así, “el test de Turing, por la importancia que concede a la conducta lingüística y por la importancia de ésta en nuestra cultura, es la piedra de toque para una verdadera IA fuerte”.
Sombras y luces sobre Alan Turing
Algún tiempo después de la muerte de Turing, varios autores norteamericanos empezaron también a mostrar interés en investigar en campos similares al del investigador inglés. Se suele considerar como el inicio de la IA el encuentro del Dartmouth Collegeen New Hampshire, celebrado en 1956 y convocado por John McCarthy.
No obstante, el año anterior ya se había celebrado otra reunión de varios investigadores, dedicada a máquinas que aprenden (learning machines), en la Werner Computer Conference, en Los Angeles. Pero el encuentro de Dartmouth Collegesuele considerarse el evento fundador de la IA, donde se presentaron diversas investigaciones sobre procesos inteligentes realizados por diversos tipos de máquinas, con la presencia de J. McCarthty, Marvin Minsky, Cl. Simon, Allen Newell y otros.
Los objetivos que estos investigadores perseguían eran construir máquinas que realizaran tareas que pudieran considerarse inteligentes, e incluso llegar a simular poseer una inteligencia de tipo general igual a la de los humanos, objetivo que, ya hemos indicado, se denominará después IA fuerte.
Los fracasos iniciales de la Inteligencia Artificial
A pesar de todos los esfuerzos realizados por los investigadores, y de las importantes cantidades de financiación empleadas, los resultados obtenidos por la IA no consiguieron representar el conocimiento humano tal y como lo ejercemos los humanos. Se conseguían acercamientos más o menos prometedores (la ilusión denominada falacia del primer paso), pero el haber logrado dar ese primer paso no garantizaba que sería fácil dar los pasos siguientes para llegar a la meta deseada.
Dentro de este contexto hemos de entender las críticas de Hubert Dreyfus. En sus críticas a los programas de la IA fuerte, consideraba que esta falacia consistía en pensar que, por subirse a un árbol, ya se había dado un paso, pequeño pero al menos un paso, para llegar a la luna [DREYFUS, H., What computers still can`t do, Cambridge, The MIT Press, 1992, p. 100].
La historia de la IA ha sido una sucesión de momentos de gran optimismo, seguidos de parones, dudas y puesta en cuestión de sus objetivos, siendo el momento inicial uno de los momentos de máximo optimismo, consecuencia de haber subestimado las dificultades que suponía no conocer cómo funciona la mente humana y querer construir a pesar de ello una máquina que la simulase e igualase. De hecho, al celebrarse en 2006 los cincuenta años de esos inicios, los propios protagonistas reconocieron que habían subestimado las dificultades, y que el objetivo que perseguían era mucho más difícil de lo que imaginaban.
El entusiasmo y los muchos esfuerzos que se dedicaron a la construcción de estas programaciones llevaron al logro de los primeros grandes éxitos de la IA, como fueron los temas de representación del conocimiento (capacidad de hacer inferencias no obvias sobre una situación, o seguir las inferencias de un logaritmo), búsqueda heurística (dado un problema, con unos componentes elementales y unos operadores, establecer un proceso de búsqueda), planificación (dado un conjunto de objetos y uno o varios agentes, realizar acciones predefinidas que persigan un determinado objetivo), sistemas expertos (imitando la conducta de los humanos, se trata de resolver un problema mediante reglas de producción), construcción de robots móviles (construidos a base de sónar y fotocélulas, desplazándose por lugares preparados) y procesamiento del lenguaje escrito y hablado (los primeros pequeños logros mostraron ya desde el inicio la gran complejidad y dificultades que implica este objetivo).
La primera crisis de la Inteligencia Artificial
A principio de los años setenta del pasado siglo, se pudieron constatar las dificultades y limitaciones de estos programas, y es entonces cuando aparecen las primeras críticas, sobre todo de tipo filosófico y ético, en relación a los objetivos de la IA en sentido fuerte. Este momento constituyó lo que se ha llamado el primer inviernode la IA, que duró una década (de mitad de los setenta hasta la mitad de los ochenta) y que supuso un parón en las investigaciones y la consiguiente desconfianza en los logros futuros.
Al comienzo de los `70, las computadoras fueron adquiriendo mucha mayor potencia, pasando de la segunda generación (basada en transistores) a la tercera generación (circuitos integrados y microchips). Pero esto, al mismo tiempo que suponía un avance, implicaba una dificultad, puesto que el empeño de imitar a la inteligencia humana ya no podía apoyarse en la excusa de la falta de potencia de las computadoras.
De ahí que se hizo cada vez más evidente que las investigaciones se habían estancado, como hemos indicado ya, en micromundos, en lo que alguno denominó problemas juguete, y donde se situaba la dificultad era en el mundo real, en los problemas reales en los que se desenvuelve y opera la inteligencia humana. Los primeros que hicieron explícito esta problema fueron J. McCarthy y P. Hayes [McCARTHY, John/HAYES, Patrick, “Some philosophical problems from the standpoint of artificial intelligence”, en MELTZER, B./MICHIE, D. (Eds.), Macbine intelligence, vol. 4, Edimburgo, Edinburg University Press, 1069].
En un artículo influyente, llamaron la atención sobre la necesidad de que la IA se ocupara en lo que nominaban el problema del marco (frame problem) y el problema de la cualificación (qualification problem). Con el primero hacían referencia a la necesidad de situar los datos concretos dentro de un contexto mayor, el campo, de tal modo que la variación de un solo dato puede suponer a veces la necesidad de la variación de otros muchos, por efecto del contexto. Y con el problema de la cualificaciónse refieren a “la imposibilidad de detallar en un listado todas las condiciones que deben cumplirse para que una regla general sea válida”.Este problema es clave para mostrar la insuficiencia de la IA simbólica en un programa de IA fuerte, siendo necesario adentrarse en la IA subsimbólicapara poder entender cómo se conforma y funciona la inteligencia humana, como veremos más adelante. Es evidente que estos dos problemas siguen siendo en la actualidad las dificultades más graves para el avance de la IA simbólica.
Pero hubo otras críticas, que ya no venían tanto desde el interior de las investigaciones técnicas de la IA, como era el caso de McCarthy y Hayes, sino de perspectivas más externas, como la filosofía, por lo que fueron en un principio rechazadas y menospreciadas. Es el caso de las críticas de Hubert Dreyfus y de J. Searle, no tanto las de Penrose y Weizenbaum. De estas tres últimas nos ocuparemos en otra ocasión.
Conclusión
Muchos científicos, filósofos, teólogos e ingenieros de la computación son muy tajantes al criticar la imposibilidad técnica, filosófica y ética de una Inteligencia Artificial. La forma de pensar del atomismo lógico fue superada por el propio Wittgenstein en su segunda época (Investigaciones filosóficas,1953), con su teoría de los usos del lenguaje.El cognitivismo, que había surgido para superar el conductismo y dar una explicación más profunda de la complejidad de la conducta, no consigue ir más allá, puesto que no escapa de encerrar la explicación de la conducta humana en dominar el juego del ajedrez, o en los mecanismos de los sistemas expertos.
Pero cuando nos encontramos en el mundo real, la complejidad de los estímulos y de los datos que aparecen es tal, que no pueden ser formalizados del todo en los sistemas simbólicos, porque la dimensión pragmática del lenguaje no puede ser encerrada en reglas fijas y definidas.
Las palabras cobran su significado por su participación en juegos de lenguaje, que, a diferencia de los juegos artificiales (como el ajedrez), no se explican con leyes positivistas, sino que, como indica Wittgenstein, su validez depende de las normas acordadas en las prácticas sociales, que son arbitrarias, y no obedecen a leyes previas.
José Sancho San Román. Asociación Interdisciplinar José de Acosta (ASINJA) y Colaborador de la Cátedra Francisco J. Ayala de Ciencia, Tecnología y Religión.
Los comentarios están cerrados.