O artigo começa com uma pergunta retórica, onde os autores indagam se o leitor embarcaria em um avião onde metade dos engenheiros que o construíram afirmam que há 10% de chance dele cair. A óbvia resposta negativa reforça o paralelo feito a seguir, onde Harari cita que metade dos 700 acadêmicos mais importantes por trás das maiores empresas de Inteligência Artificial (IA) afirmaram que há 10% ou mais de chance de extinção humana (ou dano permanente e severo na humanidade) nos usos futuros dessa tecnologia.
Harari reforça no artigo do NYT o que seu livro ensina: a linguagem é o "sistema operacional" da cultura humana, e dela emergem mitos e leis, deuses e dinheiro, arte e ciência, amizades e nações e código de computador. Portanto, permitir que algo não humano domine a linguagem, em parâmetros muito superiores (em tese) à própria capacidade humana, onde ela poderia “hackear e manipular o sistema operacional da civilização”, seria dar, nas palavras do autor, a ela a “chave mestra da civilização, dos cofres dos bancos aos santos sepulcros”.
A linguagem é a principal ferramenta do GPT-4 (versão mais recente do ChatGPT). Como nos filmes de ficção, a velocidade que algo dessa natureza conseguiria dominar as atividades humanas e até formar opinião, é perigosamente imprevista. E é humanamente impossível entender todos os recursos que um instrumento de IA desse porte pode tomar para si, uma vez que à medida que começa a ser usada e manipulada, a própria ferramenta desenvolve recursos mais avançados e poderosos.
Necessidade de controle
Não é alarmismo de Harari. Algo com esse potencial destrutivo não pode ser posto em prática, principalmente sem qualquer tipo de controle. Hoje, 29 de março, a necessidade de avaliação prévia foi pedida até por alguém que costuma ganhar muito dinheiro com ferramentas tecnológicas: Elon Musk. Ele e pelo menos mil outros signatários assinaram uma carta aberta onde pedem uma pausa no desenvolvimento dessas ferramentas que usam a linguagem, com a justificativa de repensar os riscos para a humanidade.
O potencial de manipulação que a internet e as redes sociais possuem não é diferente, em essência, de outros meios não-digitais de outrora. Porém, a velocidade e abrangência mudaram significativamente. Eleições são manipuladas, verdades científicas contestadas e ideologias radicais são fortalecidas de maneira muito eficiente, como visto em experiências recentes no Brasil e nos EUA, por exemplo.
“Sistemas poderosos de IA só devem ser desenvolvidos quando estivermos confiantes de que seus efeitos serão positivos e seus riscos, gerenciáveis”, diz um trecho da carta de Elon Musk.
A ideia da manipulação de informação via rede social, embora perigosa, não permite que os algoritmos criem ou manobrem a linguagem; esta se mantém como uma atividade essencialmente humana. Porém, uma IA como o GPT-4 poderia consumir rapidamente toda a cultura humana — tudo o que produzimos ao longo de milhares de anos.
Tudo, sem qualquer forma de controle estatal ou da sociedade organizada.
Estado como ente humano, deve agir
Não se trata de apenas absorver cultura. Ferramentas como as novas interfaces de IA são criadas com o potencial de produzir novas formas de cultura, ou mesmo eliminar as existentes.
Uma inocente redação escolar pedida no ChatGPT, por algum aluno preguiçoso, pode ser conseguida com a mesma facilidade de um discurso político. A partir da linguagem, a ferramenta não-humana pode criar novos manifestos ideológicos ou livros sagrados. “Em 2028, a corrida presidencial dos EUA pode não ser mais disputada por humanos”, prevê Harari no artigo do NYT.
A forma que os seres humanos encontraram de viver em sociedade com certa organização foi permitir que um ente estatal fosse criado e tivesse poderes coercitivos, julgadores e representativos. Ainda o Estado, na democracia liberal, é regido por uma Constituição, e essa nada mais é que um conjunto de palavras, de elementos de linguagem que são guias para a sociedade que se insere.
Porém, mesmo com o controle estatal e a submissão às normas constitucionais, e ainda abrindo mão de algumas liberdades em nome da coletividade harmônica, as nossas visões de mundo são moldadas pela cultura; essa impossível de ser controlada, justamente pela exclusividade humana de controle da linguagem.
A questão é que esses caldos de cultura foram criados, até agora, por pessoas. Permitir que sejam criados por uma IA que não tem controle é aceitável? Se for, talvez estaremos abrindo mão não apenas de nossa liberdade, mas de nossa condição de Homo sapiens.