Como a forza de defensa de Australia está a converter a IA nun “comandante de silicio”

Nas semanas previas ao Nadal do ano pasado, no alto do remoto deserto de Australia Meridional, fíxose unha pequena porción da historia da aviación e da IA.

O Ghost Bat, un avión de fabricación australiana, duns dous terzos do tamaño dun avión de combate normal, derribou un obxectivo cun mísil aire-aire.

O destacable foi o seu piloto.

O morcego pantasma é autónomo. Non hai ningún humano que o controle desde unha cabina, nin un piloto de dron en terra detrás dun joystick.

É unha visión do futuro da guerra, coa intelixencia artificial xogando un papel moito maior na forma en que os exércitos se preparan, planifican e realizan ataques.

E non é único: en Ucraína están a atoparse drons armados con “minicomputadoras” poderosas e sen antenas visibles, o que leva ás forzas ucraínas a concluír que case seguro que foron pilotados por IA.

E Ucraína ten os seus propios drons pilotados por intelixencia artificial dirixidos ás principais rutas de subministración rusas.

Recentemente, o ministro de Defensa, Richard Marles, voou aos Estados Unidos para reunirse en persoa con representantes de firmas como OpenAI, Anthropic, Microsoft e Google sobre cara a onde van os seus modelos.

A forza de defensa de Australia é unha das moitas que corren en todo o mundo para descubrir como integrar mellor a IA en gran parte do que fai, desde avaliacións de intelixencia máis rápidas ata plataformas de pilotaxe con cargas letais.

E está a traballar cales son as barandas que hai que poñer, recoñecendo que aínda que a IA ten un papel que desempeñar, os humanos necesitan a última palabra cando se tiran os gatillos.

A IA (un pouco) toma voo

Aeronaves como o Ghost Bat e o seu homólogo submarino, o Ghost Shark (un submarino autónomo), son os signos máis visibles de que a intelixencia artificial se está adoptando dentro da Forza de Defensa Australiana (ADF).

A Real Forza Aérea Australiana (RAAF) describe o Morcego Pantasma como “un pioneiro para a integración de sistemas autónomos e intelixencia artificial para crear equipos intelixentes entre humanos e máquinas”.

Pero o mariscal do aire Stephen Chappell, o xefe da Forza Aérea, sinala que hai algunhas limitacións deliberadas postas ao cerebro do Morcego Pantasma.

“A IA estivo implicada no deseño e desenvolvemento do Morcego Pantasma, pero non funciona sen AI. Funciona con programación determinista”, dixo.

“Entón, deseñamos mediante probas de xemelgos dixitais co apoio da IA, só miles e miles e miles de opcións para o [Ghost Bat] tomar.

“E escollerá unha desas opcións, pero sabemos exactamente como se desenvolve esa opción”.

Dixo que na proba de disparo do ano pasado, un operador baseado nun avión E7 Wedgetail díxolle primeiro ao Ghost Bat que atacase o obxectivo, pero o sistema da aeronave elaborou un plan sobre a mellor forma de facelo.

Aínda así, o operador do E7 deu unha autorización definitiva antes do lanzamento do mísil.

“E iso é moi importante dende o punto de vista legal e ético”.

A IA xa deixa marca

Aínda que o ADF aínda está explorando en moitos aspectos o mellor uso da IA, a tecnoloxía xa se está a adoptar con efectos significativos noutros lugares.

O uso de intelixencia artificial por parte de Israel durante a súa campaña en Gaza chamou a atención.

A análise do Instituto Internacional de Estudos Estratéxicos (IISS) di que o uso de Israel da IA ​​na guerra aumentou “exponencialmente” desde os ataques terroristas do 7 de outubro e o lanzamento da súa guerra en Gaza.

Os informes da revista progresista israelí +972 Magazine suxeriron que nas primeiras semanas da guerra utilizouse unha ferramenta de análise impulsada por intelixencia artificial coñecida como Lavender para xerar unha lista de 37.000 persoas, sospeitosas de ser axentes militares con Hamás ou a Yihad Islámica Palestina, como posibles obxectivos de ataques aéreos.

Israel rexeitou as suxestións de que utilizaba unha ferramenta de intelixencia artificial “que identifica a axentes terroristas ou que intenta predecir se unha persoa é un terrorista” e dixo que mentres os sistemas de información se usan na identificación de obxectivos, os analistas deben realizar “exames independentes”.

A análise do IISS suxire que aínda que o uso destes sistemas permitiu tomar decisións máis rápidas, tamén aumentou o risco de erros, xa que os obxectivos son identificados máis rápido do que os humanos poden avalialos.

O mes pasado, as Nacións Unidas e o Comité Internacional da Cruz Vermella (CICR) lanzaron un chamamento conxunto para prohibir as armas autónomas que sexan “imprevisibles” ou que teñan como obxectivo seres humanos.

Os dous organismos expresaron a súa preocupación por que “as decisións de vida ou morte sexan tomadas por máquinas”.

A asesora xurídica do CICR, Georgia Hinds, dixo que aínda que os avances como a IA e as armas autónomas na guerra adoitan acompañarse de promesas de que axudarían a limitar as vítimas civís, moitas veces parecía que era certo o contrario.

“Seguimos vendo conflitos que causan niveis inaceptables de danos civís, e iso é nalgúns dos conflitos que teñen os medios de guerra máis sofisticados tecnoloxicamente”, dixo.

Un asento na mesa de mando

As preocupacións sobre a implicación humana na toma de decisións da IA ​​van desde os que manteñen o gatillo de forma efectiva ata os que están sentados arredor da mesa máis poderosa de Defensa.

Aínda que avións como o Ghost Bat son un sinal físico de adopción da IA ​​dentro de Defensa, os expertos argumentan que a maior influencia non se ve en gran parte.

Ese é o uso da intelixencia artificial para informar a toma de decisións críticas, analizando a intelixencia e facendo recomendacións que van antes que os encargados de facer as chamadas máis importantes.

Aina Turillazzi, do Centro de Estudos Estratéxicos e de Defensa da Universidade Nacional de Australia, dixo que aí foi onde se estaban dando os verdadeiros saltos.

“A maior parte do que fai a IA no exército está augas arriba de calquera arma”, dixo.

“Trátase máis de montar a imaxe da situación sobre a que despois un humano toma unha decisión”.

Ela sinala a adopción por parte da ADF de tecnoloxía como o sistema Maven Smart de Palantir, que causou disputas polos vínculos políticos dos seus fundadores e preocupacións sobre a soberanía dos datos.

O analista senior do Australian Strategic Policy Institute, Malcolm Davis, describiu o papel que a tecnoloxía como Maven Smart xa estaba xogando nos conflitos, incluída a guerra entre Estados Unidos e Irán, como o dun “comandante de silicio”.

“Son capaces de avaliar moi rapidamente o espazo de batalla, reducir o número de persoal que teñen para preparar ordes e análises e levar a cabo ese proceso moito máis rápido do que sería posible sen AI”, dixo.

A ADF díxolle previamente ao parlamento que Maven Smart ata agora estaba sendo usado nun “sandbox”, é dicir, nun ambiente pechado e non conectado a redes de defensa máis amplas.

Hai exemplos de que a intelixencia artificial saíu de ambientes “sandbox”, sobre todo o incidente de Hugging Face no que centos de axentes de IA traballaron xuntos para saír do seu entorno e piratear outra empresa.

A medida que a IA entra no panorama da avaliación da intelixencia e da toma de decisións, xa hai preocupacións sobre a dependencia excesiva do seu enorme poder.

Que medo nuclear da era soviética pode ensinarnos sobre a IA

Turillazzi sinala a historia de Stanislav Petrov, un tenente coronel soviético que en 1983 afastaba o mundo dun posible desastre nuclear.

Cando os sistemas de alerta que estaba monitorizando levantaron alertas sobre un ataque nuclear inminente dos Estados Unidos, a decisión de Petrov de facer unha pausa e investigar unha posible falsa alarma evitou o estalido dunha guerra nuclear accidental.

Ao parecer, os sensores dun satélite da era soviética confundían a luz solar nas nubes como o rastro en chamas dos mísiles balísticos intercontinentais.

Turillazzi dixo que a trascendental decisión de Petrov de facer unha pausa e avaliar, en lugar de aceptar cegamente as advertencias automatizadas, era aínda máis crítica nunha era de intelixencia artificial moito máis poderosa.

“Petrov tiña razón. O risco co apoio á decisión da IA ​​non é que a máquina funcione mal, senón que, baixo presión, a xente deixa de avaliar a evidencia e comeza simplemente a confirmar a recomendación ou a evidencia”, dixo.

Ela dixo que apuntou o risco de sesgo de automatización: quen interpreta a análise informada pola IA dálle un peso maior que o seu propio xuízo, mesmo inconscientemente.

E dixo que os riscos se agravan nun ambiente de conflito que se move máis rápido que nunca, onde a velocidade convértese nunha prima.

“A mesma compresión que é un activo día a día convértese nun pasivo nunha situación de crise”, dixo.

Ela dixo de forma contraintuitiva, cando os xogos eran máis altos, o proceso de toma de decisións había que frear.

“Calquera sistema de apoio á decisión de IA que se utilice para a planificación ou a orientación debería ter un modo de crise que eleve o listón probatorio, aflore a incerteza en lugar de suavizala e obligue a unha pausa en puntos definidos”, dixo.

“Porque a velocidade é unha característica pero os freos, na miña opinión, son a parte que falta aquí”.

Permanecer ou apagar o bucle

As políticas de IA existentes de Defensa establecen claramente que un operador humano sempre será responsable e responsable de calquera acción que realice a intelixencia artificial.

“O xuízo humano e a responsabilidade son fundamentais para o uso legal, lexítimo e responsable da IA ​​e do persoal de Defensa designado. [Accountable Officers] sempre será responsable do seu uso, decisións e resultados”, afirma.

En termos prácticos, iso significa permanecer “en circuíto” e asegurarse de que alguén supervise o que fai a IA e intervén en puntos críticos (como usar a forza letal).

O doutor Davis dixo que aínda que as democracias liberais, incluída Australia, probablemente manterían esas políticas en vigor, non había garantía de que os adversarios potenciais se adhiran aos mesmos estándares.

“Simplemente non sabemos se os nosos adversarios autoritarios van facer o mesmo”, dixo.

“É posible que vexan máis para a súa vantaxe ter aos humanos “fora do circuito” e permitir que a IA teña un maior control.

Nunha entrevista coa ABC, preguntouse ao Sr. Marles se lle preocupaba como a IA podería ser adoptada e empregada por potenciais adversarios.

“A resposta a iso é a resposta que damos moito, que vivimos no panorama estratéxico máis complexo e, en certo modo, máis ameazante que temos desde o final da Segunda Guerra Mundial”, dixo.

“Necesitamos avanzar na nosa propia tecnoloxía para que amigos, socios e aliados teñan aquí a vantaxe tecnolóxica.

“Tamén necesitamos facelo dentro dun conxunto de barandillas, o que significa que o que estamos facendo en termos de desenvolvemento da nosa capacidade de defensa entre os nosos amigos e socios é facer do mundo un lugar máis seguro”.