Leia online "Inteligência artificial. Estratégias". Inteligência artificial. Estágios. Ameaças. Estratégias - Nick Bostrom

O que acontecerá se as máquinas superarem os humanos em inteligência? Eles vão nos ajudar ou destruir a raça humana? Podemos hoje ignorar o problema do desenvolvimento da inteligência artificial e nos sentirmos completamente seguros?

Em seu livro, Nick Bostrom tenta entender o problema que a humanidade enfrenta em conexão com a perspectiva do aparecimento de uma superinteligência e analisar sua resposta.

características do livro

Data de redação: 2014
Nome: . Estágios. Ameaças. Estratégias

Volume: 760 páginas, 69 ilustrações
ISBN: 978-5-00057-810-0
Tradutor: Sergey Filin
Titular dos direitos autorais: Mann, Ivanov e Ferber

Prefácio do livro "Inteligência Artificial"

O autor acredita que a ameaça mortal está associada à possibilidade de criar uma inteligência artificial que supere a mente humana. Uma catástrofe pode estourar tanto no final do século 21 quanto nas próximas décadas. Toda a história da humanidade mostra: quando há uma colisão entre um representante de nossa espécie, uma pessoa sensata, e qualquer outro habitante de nosso planeta, vence aquele que for mais inteligente. Até agora éramos os mais espertos, mas não temos garantias de que isso dure para sempre.

Nick Bostrom escreve que se os algoritmos de computador inteligentes aprenderem a fazer algoritmos ainda mais inteligentes por conta própria, e esses, por sua vez, ainda mais inteligentes, haverá um crescimento explosivo da inteligência artificial, em comparação com o qual as pessoas parecerão formigas ao lado das pessoas agora, em intelectualmente, é claro. Uma nova espécie, embora artificial, mas superinteligente, aparecerá no mundo. Não importa o que ele “vem à cabeça”, uma tentativa de fazer todas as pessoas felizes ou uma decisão de parar a poluição antrópica dos oceanos do mundo da maneira mais eficaz, ou seja, destruindo a humanidade, as pessoas ainda não serão capaz de resistir a ela. Sem chance de um confronto estilo filme Terminator, sem tiroteios com ciborgues de ferro. Xeque-mate e xeque-mate estão esperando por nós - como em um duelo entre um computador de xadrez Deep Blue e um aluno da primeira série.

Nos últimos cem ou dois anos, as conquistas da ciência despertaram em alguns deles a esperança de resolver todos os problemas da humanidade, enquanto em outros causaram e continuam a causar medo desenfreado. Ao mesmo tempo, deve-se dizer que ambos os pontos de vista parecem bastante justificados. Graças à ciência, doenças terríveis foram derrotadas, a humanidade hoje é capaz de alimentar um número sem precedentes de pessoas e, de um ponto do globo, você pode chegar ao oposto em menos de um dia. No entanto, pela graça da mesma ciência, as pessoas, usando a mais recente tecnologia militar, destroem umas às outras com velocidade e eficiência monstruosas.

Uma tendência semelhante - quando o rápido desenvolvimento da tecnologia não apenas leva à formação de novas oportunidades, mas também cria ameaças sem precedentes - observamos no campo da segurança da informação. Toda a nossa indústria surgiu e existe apenas porque a criação e distribuição em massa de coisas maravilhosas como computadores e a Internet criaram problemas que seriam inimagináveis ​​na era pré-computador. Como resultado do advento da tecnologia da informação, houve uma revolução nas comunicações humanas. Inclusive foi utilizado por vários tipos de cibercriminosos. E só agora a humanidade começa aos poucos a perceber novos riscos: cada vez mais objetos do mundo físico são controlados por computadores e softwares, muitas vezes imperfeitos, cheios de buracos e vulneráveis; um número cada vez maior desses objetos está conectado à Internet, e as ameaças ao mundo cibernético estão rapidamente se tornando questões de segurança física e potencialmente de vida ou morte.

É por isso que o livro de Nick Bostrom parece tão interessante. O primeiro passo para evitar cenários de pesadelo (para uma única rede de computadores ou para toda a humanidade) é entender em que eles podem consistir. Bostrom faz muitas reservas de que a criação de uma inteligência artificial comparável ou superior à mente humana - uma inteligência artificial capaz de destruir a humanidade - é apenas um cenário provável que pode não se concretizar. Claro, as opções são muitas, e o desenvolvimento da informática pode não destruir a humanidade, mas nos dará a resposta para "a principal questão da vida, do universo e tudo mais" (talvez realmente seja o número 42, como no romance "O Guia do Mochileiro das Galáxias") . Há esperança, mas o perigo é muito sério, alerta Bostrom. Na minha opinião, se existe a possibilidade de tal ameaça existencial à humanidade, ela deve ser tratada de acordo e, para evitá-la e protegê-la, esforços conjuntos devem ser feitos em escala global.

Introdução

Dentro do nosso crânio existe uma certa substância, graças à qual podemos, por exemplo, ler. Essa substância - o cérebro humano - é dotada de capacidades ausentes em outros mamíferos. Na verdade, as pessoas devem sua posição dominante no planeta justamente a essas características. Alguns animais se distinguem pelos músculos mais poderosos e pelas presas mais afiadas, mas nem um único ser vivo, exceto o homem, é dotado de uma mente tão perfeita. Em virtude de um nível intelectual superior, conseguimos criar ferramentas como linguagem, tecnologia e organização social complexa. Com o tempo, nossa vantagem apenas se fortaleceu e se expandiu, à medida que cada nova geração, contando com as conquistas de seus antecessores, avançava.

Se alguma vez for desenvolvida uma inteligência artificial que ultrapasse o nível geral de desenvolvimento da mente humana, então uma inteligência superpoderosa aparecerá no mundo. E então o destino de nossa espécie dependerá diretamente das ações desses sistemas técnicos inteligentes - assim como o destino atual dos gorilas é amplamente determinado não pelos próprios primatas, mas pelas intenções humanas.

No entanto, a humanidade realmente tem uma vantagem inegável, pois cria sistemas técnicos inteligentes. Em princípio, quem nos impede de inventar tal superinteligência que levará os valores humanos universais sob sua proteção? Claro, temos muito boas razões para nos proteger. Em termos práticos, teremos que lidar com a questão mais difícil de controle - como controlar os planos e ações da supermente. E as pessoas poderão usar uma única chance. Assim que nasce uma inteligência artificial (IA) hostil, ela imediatamente começa a interferir em nossos esforços para se livrar dela ou pelo menos corrigir suas configurações. E então o destino da humanidade será selado.

Em meu livro, tento entender o problema que as pessoas enfrentam em relação à perspectiva de uma superinteligência e analiso sua resposta. Talvez a agenda mais séria e assustadora que a humanidade já recebeu nos espere. E independentemente de ganharmos ou perdermos, é possível que este desafio seja o nosso último. Não apresento aqui nenhum argumento a favor de uma ou outra versão: estamos à beira de um grande avanço na criação da inteligência artificial; é possível prever com certa precisão quando um determinado evento revolucionário acontecerá. Muito provavelmente neste século. É improvável que alguém mencione uma data mais específica.

Inteligência artificial. Estágios. Ameaças. Estratégia - Nick Bostrom (baixar)

(fragmento introdutório do livro)

O que acontecerá se as máquinas superarem os humanos em inteligência? Eles vão nos ajudar ou destruir a raça humana? Podemos hoje ignorar o problema do desenvolvimento da inteligência artificial e nos sentirmos completamente seguros? Em seu livro, Nick Bostrom tenta entender o problema que a humanidade enfrenta em conexão com a perspectiva do aparecimento de uma superinteligência e analisar sua resposta. Publicado em russo pela primeira vez.

* * *

O seguinte trecho do livro Inteligência artificial. Estágios. Ameaças. Estratégias (Nick Bostrom, 2014) fornecidos pelo nosso parceiro de livros - a empresa LitRes.

Capítulo dois

Caminho para a superinteligência

Hoje, se tomarmos o nível de desenvolvimento intelectual geral, as máquinas são absolutamente inferiores às pessoas. Mas um dia - assumimos - a mente da máquina superará a mente do homem. Qual será o nosso caminho daqui até aquele que nos espera? Este capítulo descreve várias opções tecnológicas possíveis. Primeiro, abordaremos tópicos como inteligência artificial, emulação cerebral completa, aprimoramento cognitivo humano, interface cérebro-computador, redes e organizações. Em seguida avaliaremos os aspectos elencados do ponto de vista da probabilidade, se podem servir como degraus de ascensão à superinteligência. Com vários caminhos, a chance de chegar ao destino é claramente aumentada.

Vamos primeiro definir o conceito de superinteligência. Esse qualquer inteligência que exceda significativamente as capacidades cognitivas de uma pessoa em praticamente qualquer área(87) . No próximo capítulo, discutiremos com mais detalhes o que é a superinteligência, decompondo-a em seus componentes e diferenciando todas as suas possíveis encarnações. Mas agora vamos nos limitar a uma caracterização tão geral e superficial. Observe que nesta descrição não havia lugar nem para a implementação da supermente na vida, nem para seus qualia, isto é, se ela será dotada de experiências subjetivas e da experiência da consciência. Mas num certo sentido, sobretudo ético, a questão é muito importante. No entanto, agora, deixando de lado a metafísica intelectual (88), vamos prestar atenção a duas questões: os pré-requisitos para o surgimento da supermente e as consequências desse fenômeno.

De acordo com nossa definição, o programa de xadrez Deep Fritz não é superinteligente, pois é "forte" apenas em uma área muito estreita - a área de jogar xadrez. No entanto, é muito importante que a superinteligência tenha suas especializações temáticas. Portanto, sempre que se tratar de um ou outro comportamento superintelectual limitado pela área disciplinar, estipularei separadamente seu campo específico de atuação. Por exemplo, a inteligência artificial, que excede significativamente as habilidades mentais humanas nas áreas de programação e design, será chamada de superinteligência de engenharia. Mas, para se referir a sistemas, geralmente excedendo o nível geral de inteligência humana - salvo indicação em contrário - o termo permanece superestimar.

Como chegaremos ao tempo em que será possível aparecer? Qual caminho escolheremos? Vejamos algumas opções possíveis.

Inteligência artificial

Caro leitor, não espere que este capítulo conceitue a questão de como criar uma inteligência artificial universal ou forte. O projeto para sua programação simplesmente não existe. Mas mesmo que eu fosse o feliz proprietário de tal plano, certamente não o publicaria em meu livro. (Se as razões para isso ainda não são óbvias, espero que nos próximos capítulos eu seja capaz de esclarecer minha própria posição de forma inequívoca.)

Porém, já hoje é possível reconhecer algumas características obrigatórias inerentes a um sistema tão inteligente. É bastante óbvio que a capacidade de aprender como uma propriedade integral do núcleo do sistema deve ser incluída no projeto, e não adicionada como uma consideração tardia na forma de uma extensão. O mesmo vale para a capacidade de lidar efetivamente com informações incertas e probabilísticas. Muito provavelmente, entre os principais módulos da IA ​​moderna deve estar o meio de extrair informações úteis de dados de sensores externos e internos e converter os conceitos resultantes em representações combinatórias flexíveis para uso posterior em processos de pensamento baseados em lógica e intuição.

Os primeiros sistemas de inteligência artificial clássica não eram voltados principalmente para o aprendizado, trabalhando em condições de incerteza e formação de conceitos, provavelmente devido ao fato de que naquela época os métodos de análise correspondentes não estavam suficientemente desenvolvidos. Isso não quer dizer que todas as ideias básicas da IA ​​sejam fundamentalmente inovadoras. Por exemplo, a ideia de usar o aprendizado como meio de desenvolver um sistema simples e trazê-lo para o nível humano foi expressa por Alan Turing em 1950 no artigo "Computer Science and Intelligence", onde delineou seu conceito de "criança máquina":

Por que não tentamos criar um programa que imite a mente de um adulto, em vez de tentar criar um programa que imite a mente de uma criança? Afinal, se a mente de uma criança recebe uma educação adequada, torna-se a mente de um adulto (89) .

Turing previu que a criação de uma "máquina filha" exigiria um processo iterativo:

É improvável que consigamos um bom "carro infantil" na primeira tentativa. É necessário realizar uma experiência de ensino de qualquer uma das máquinas desse tipo e descobrir como ela se presta ao aprendizado. Em seguida, faça o mesmo experimento com outra máquina e determine qual das duas máquinas é melhor. Existe uma conexão óbvia entre este processo e a evolução na natureza viva...

No entanto, pode-se esperar que esse processo ocorra mais rapidamente do que a evolução. A sobrevivência do mais apto é uma maneira muito lenta de avaliar os benefícios. O experimentador, aplicando o poder do intelecto, pode acelerar o processo de avaliação. Igualmente importante, não se limita a usar apenas mutações aleatórias. Se o experimentador puder rastrear a causa de alguma deficiência, provavelmente será capaz de inventar o tipo de mutação que levará à melhoria necessária (90).

Sabemos que processos evolutivos cegos podem levar ao surgimento de uma inteligência geral de nível humano - pelo menos uma vez que isso já aconteceu. Devido à previsão de processos evolutivos - ou seja, programação genética, quando algoritmos são desenvolvidos e controlados por um programador humano inteligente - devemos obter resultados semelhantes com muito mais eficiência. É nessa suposição que muitos cientistas se baseiam, incluindo o filósofo David Chalmers e o pesquisador Hans Moravec (91) , que argumentam que o IICHI não é apenas teoricamente possível, mas também praticamente viável já no século XXI. Segundo eles, em matéria de criação de inteligência, avaliando as possibilidades relativas da evolução e da engenharia humana, descobriremos que esta última em muitas áreas supera em muito a evolução e, muito provavelmente, logo a ultrapassará nas demais. Assim, se a inteligência natural emergiu como resultado de processos evolutivos, segue-se que os projetos humanos no campo do design e desenvolvimento podem nos levar em breve à inteligência artificial. Por exemplo, Moravec escreveu em 1976:

A existência de alguns exemplos de inteligência que surgiram sob esses tipos de restrições deve nos dar confiança de que seremos capazes de alcançar o mesmo muito em breve. A situação é análoga à história da criação de máquinas que podem voar, embora sejam mais pesadas que o ar: pássaros, morcegos e insetos demonstraram claramente essa habilidade muito antes de o homem fabricar máquinas voadoras (92).

No entanto, deve-se ter mais cuidado com as conclusões baseadas em tal cadeia de raciocínio. Claro, não há dúvida de que o vôo de seres vivos não humanos, que são mais pesados ​​\u200b\u200bque o ar, tornou-se possível como resultado da evolução muito antes do que as pessoas conseguiram - no entanto, eles conseguiram com a ajuda de mecanismos. Em apoio a isso, outros exemplos podem ser lembrados: sistemas de sonar; sistemas de navegação magnetométrica; meios químicos de guerra; fotossensores e outros dispositivos com características de desempenho mecânico e cinético. Porém, com o mesmo sucesso, listaremos as áreas em que a efetividade dos esforços humanos ainda está muito distante da efetividade dos processos evolutivos: morfogênese; mecanismos de autocura; proteção imunológica. Assim, o argumento de Moravec não “nos dá confiança” de que o IIDH será criado “muito em breve”. Na melhor das hipóteses, a evolução da vida inteligente na Terra pode servir como um limite superior para a dificuldade de criar inteligência. Mas esse nível ainda está além do alcance das atuais capacidades tecnológicas da humanidade.

Outro argumento a favor do desenvolvimento da inteligência artificial de acordo com o modelo de processo evolutivo é a capacidade de executar algoritmos genéticos em processadores bastante poderosos e, como resultado, obter resultados compatíveis com os obtidos no curso da evolução biológica. Assim, esta versão do argumento propõe melhorar a IA por meio de um determinado método.

Quão verdadeira é a afirmação de que muito em breve teremos à nossa disposição recursos computacionais suficientes para reproduzir os processos evolutivos correspondentes, como resultado do qual o intelecto humano foi formado? A resposta depende das seguintes condições: primeiro, se haverá progresso significativo na tecnologia de computadores nas próximas décadas; em segundo lugar, qual poder de computação será necessário para que os mecanismos de lançamento de algoritmos genéticos sejam semelhantes à seleção natural que levou ao aparecimento do homem. Deve-se dizer que as conclusões a que chegamos ao longo da cadeia do nosso raciocínio são extremamente incertas; mas, apesar desse fato desencorajador, ainda parece apropriado tentar dar pelo menos uma estimativa aproximada dessa versão (ver caixa 3). Na ausência de outras possibilidades, mesmo cálculos aproximados chamarão a atenção para algumas curiosas quantidades desconhecidas.

O ponto principal é que o poder computacional necessário apenas para reproduzir os processos evolutivos necessários que levaram ao surgimento da inteligência humana é praticamente inatingível e permanecerá assim por muito tempo, mesmo que a lei de Moore seja válida por mais um século (ver Figura 3 abaixo ). No entanto, há uma saída perfeitamente aceitável: teremos um impacto muito grande na eficiência quando, em vez de uma simples repetição de processos evolutivos naturais, desenvolvermos um motor de busca focado na criação de inteligência, usando uma variedade de vantagens óbvias sobre seleção natural. Claro, agora é muito difícil quantificar o ganho de eficiência resultante. Nem sabemos de que ordem de grandeza estamos falando - cinco ou vinte e cinco. Portanto, se o argumento do modelo evolutivo não for devidamente desenvolvido, não seremos capazes de atender às nossas expectativas e nunca saberemos quão difíceis são os caminhos para a inteligência artificial de nível humano e quanto tempo teremos que esperar pelo seu aparecimento.

Caixa 3. Avaliação dos esforços de replicação evolutiva

Nem todas as conquistas da antropogênese relacionadas à mente humana são valiosas para os especialistas modernos que trabalham no problema do desenvolvimento evolutivo da inteligência artificial. Apenas uma pequena parte do que aconteceu como resultado da seleção natural na Terra entra em ação. Por exemplo, problemas que as pessoas não podem ignorar são o resultado apenas de pequenos esforços evolutivos. Em particular, como podemos alimentar nossos computadores com eletricidade, não precisamos reinventar as moléculas do sistema de economia de energia celular para criar máquinas inteligentes - e a evolução molecular do mecanismo metabólico pode muito bem ter exigido uma parcela significativa do consumo total do poder da seleção natural, que esteve à disposição da evolução ao longo da história da Terra(93) .

Existe um conceito de que a chave para a criação da IA ​​é a estrutura do sistema nervoso, que apareceu há menos de um bilhão de anos (94). Se aceitarmos essa posição, o número de "experimentos" necessários para a evolução será bastante reduzido. Hoje, existem aproximadamente (4-6) × 1030 procariontes no mundo, mas apenas 1019 insetos e menos de 1010 representantes da raça humana (aliás, a população às vésperas da revolução neolítica era ordens de magnitude menor) (95) . Concordo, esses números não são tão assustadores.

No entanto, algoritmos evolutivos requerem não apenas uma variedade de opções, mas também uma avaliação da adequação de cada uma das opções - geralmente o componente mais caro em termos de recursos computacionais. No caso da evolução da inteligência artificial, para avaliar a aptidão, parece que é necessária a modelagem do desenvolvimento neural, bem como das habilidades de aprendizado e cognição. Portanto, é melhor não olhar para o número total de organismos com um sistema nervoso complexo, mas para estimar o número de neurônios em organismos biológicos que podemos precisar modelar para calcular a função objetivo da evolução. Uma estimativa aproximada pode ser feita observando os insetos, que dominam a biomassa terrestre (as formigas sozinhas respondem por 15–20%)(96). O volume do cérebro dos insetos depende de muitos fatores. Quanto maior e mais social (isto é, leva uma vida social) um inseto, maior seu cérebro; por exemplo, uma abelha tem pouco menos de 106 neurônios, uma mosca da fruta tem 105 neurônios, uma formiga com seus 250.000 neurônios está entre elas (97). Os cérebros da maioria dos insetos menores contêm apenas alguns milhares de neurônios. Proponho com extrema cautela insistir no valor médio (105) e igualar todos os insetos (dos quais existem 1019 no total no mundo) a Drosophila, então o número total de seus neurônios será 1024. Vamos adicionar outra ordem de grandeza devido a crustáceos, pássaros, répteis, mamíferos, etc. - e obtenha 1025. (Compare isso com o fato de que antes do advento da agricultura havia menos de 107 pessoas no planeta, e cada uma tinha cerca de 1011 neurônios - isto é, em total, a soma de todos os neurônios era menor que 1018, embora o cérebro humano contivesse – e contenha – muito mais sinapses.)

O custo computacional de modelar um neurônio depende do grau necessário de detalhe do modelo. Um modelo de neurônio em tempo real extremamente simples requer aproximadamente 1.000 operações de ponto flutuante por segundo (FLOPS). Um modelo Hodgkin-Huxley eletricamente e fisiologicamente realista requer 1.200.000 FLOPS. Um modelo multicomponente mais complexo de um neurônio adicionaria duas a três ordens de magnitude, e um modelo de nível superior operando em sistemas de neurônios requer duas a três ordens de magnitude menos operações por neurônio do que modelos simples(98). Se precisarmos simular 1025 neurônios ao longo de um bilhão de anos de evolução (isso é mais do que o tempo de vida dos sistemas neurais em sua forma atual) e deixarmos os computadores trabalharem nessa tarefa por um ano, seus requisitos de energia computacional cairão na faixa de 1031 -1044 FLOPS . Para comparação, o computador mais poderoso do mundo, o chinês Tianhe-2 (em setembro de 2013) é capaz de apenas 3,39 × 1016 FLOPS. Nas últimas décadas, os computadores convencionais aumentaram seu desempenho em uma ordem de grandeza aproximadamente uma vez a cada 6,7 ​​anos. Mesmo que o poder de computação cresça de acordo com a lei de Moore por um século inteiro, não será suficiente para preencher a lacuna existente. Usar sistemas de computação mais especializados ou aumentar o tempo de computação pode reduzir os requisitos de energia em apenas algumas ordens de magnitude.

É provável que a eliminação desse tipo de ineficiência economize várias ordens de grandeza da potência necessária em 1031-1044 FLOPS, calculada anteriormente. Infelizmente, é difícil dizer exatamente quanto. É difícil dar uma estimativa aproximada - só podemos adivinhar se serão cinco ordens de grandeza, dez ou vinte e cinco (101) .

Arroz. 3. Desempenho de computadores pesados. No sentido mais verdadeiro, o que é chamado de "lei de Moore" é a observação de que o número de transistores colocados em um chip de circuito integrado dobra aproximadamente a cada dois anos. No entanto, a lei costuma ser generalizada, considerando que outros indicadores de desempenho do computador também estão crescendo exponencialmente. Nosso gráfico mostra a velocidade máxima dos computadores mais poderosos do mundo ao longo do tempo (em uma escala vertical logarítmica). Nos últimos anos, a velocidade da computação sequencial parou de crescer, mas devido à disseminação da computação paralela, o número total de operações continua aumentando no mesmo ritmo (102) .

Há outra complicação associada aos fatores evolutivos apresentados como último argumento. O problema é que não somos capazes de calcular - mesmo muito grosseiramente - um limite superior para a dificuldade de obter inteligência de maneira evolutiva. Sim, a vida inteligente já apareceu na Terra, mas não decorre desse fato que os processos de evolução com alto grau de probabilidade levam ao surgimento da inteligência. Tal conclusão seria fundamentalmente errônea, pois não leva em conta o chamado efeito de seleção observacional, que implica que todos os observadores estão no planeta onde se originou a vida inteligente, não importa quão provável ou improvável tal evento seja em qualquer outro planeta. planeta. Suponha que para o surgimento da vida inteligente, além dos erros sistemáticos da seleção natural, uma enorme quantidade de jogos de sorte- tão grande que a vida inteligente apareceu em apenas um dos 1030 planetas onde existem genes replicadores simples. Nesse caso, os pesquisadores que executam algoritmos genéticos na tentativa de replicar o que a evolução criou podem acabar com cerca de 1.030 iterações antes de encontrar uma combinação na qual todos os elementos se somam corretamente. Isso parece ser bastante consistente com nossa observação de que a vida se originou e se desenvolveu aqui na Terra. Essa barreira epistemológica pode ser parcialmente contornada por movimentos lógicos cuidadosos e um tanto incômodos - analisando casos de evolução convergente de características relacionadas à inteligência, e levando em consideração o efeito da observação na seleção. Se os cientistas não se derem ao trabalho de conduzir tal análise, então, no futuro, nenhum deles terá que estimar o valor máximo e descobrir quanto é o limite superior estimado do poder de computação necessário para reproduzir a evolução da inteligência (ver Caixa 3) pode cair abaixo da trigésima ordem (ou algum outro valor igualmente grande)(103).

Passemos à próxima opção para atingir nosso objetivo: o argumento a favor da viabilidade da evolução da inteligência artificial é a atividade do cérebro humano, que é referido como o modelo básico da IA. Várias versões dessa abordagem diferem apenas no grau de reprodução - com que precisão é proposto imitar as funções do cérebro biológico. Num dos pólos, que é uma espécie de "jogo da imitação", temos o conceito emulação cerebral completa, ou seja, uma simulação em escala real do cérebro (voltaremos a isso um pouco mais tarde). No outro extremo, existem tecnologias, segundo as quais a funcionalidade do cérebro é apenas um ponto de partida, mas o desenvolvimento da modelagem de baixo nível não é planejado. Por fim, nos aproximaremos da compreensão da ideia geral do cérebro, facilitada pelos avanços da neurociência e da psicologia cognitiva, bem como pelo constante aprimoramento de ferramentas e hardware. Novos conhecimentos, sem dúvida, se tornarão uma diretriz em futuros trabalhos com IA. Já conhecemos um exemplo de IA que surgiu como resultado da modelagem do trabalho do cérebro - são as redes neurais. Outra ideia retirada da neurociência e transferida para o aprendizado de máquina é a organização hierárquica da percepção. O estudo do aprendizado por reforço foi impulsionado (pelo menos em parte) pelo importante papel que esse tópico desempenha nas teorias psicológicas que descrevem o comportamento e o pensamento animal, bem como nas técnicas de aprendizado por reforço (por exemplo, o algoritmo TD). Hoje, o aprendizado por reforço é amplamente utilizado em sistemas de IA(104). Certamente haverá mais exemplos desse tipo no futuro. Como o conjunto de mecanismos básicos do funcionamento do cérebro é muito limitado - na verdade, são muito poucos - todos esses mecanismos serão descobertos mais cedo ou mais tarde graças aos constantes avanços da neurociência. No entanto, é possível que alguma abordagem híbrida chegue ao fim ainda mais cedo, combinando modelos desenvolvidos, por um lado, com base na atividade do cérebro humano, por outro lado, exclusivamente com base em tecnologias de inteligência artificial . Não é absolutamente necessário que o sistema resultante se assemelhe ao cérebro em tudo, mesmo que certos princípios de sua atividade sejam usados ​​em sua criação.

A atividade do cérebro humano como modelo básico é um forte argumento a favor da viabilidade de criar e desenvolver inteligência artificial. Porém, nem mesmo o argumento mais poderoso nos aproximará da compreensão das datas futuras, pois é difícil prever quando ocorrerá esta ou aquela descoberta na neurociência. Só podemos dizer uma coisa: quanto mais fundo olhamos para o futuro, mais provável é que os segredos do funcionamento do cérebro sejam revelados o suficiente para incorporar sistemas de inteligência artificial.

Os pesquisadores que trabalham no campo da inteligência artificial têm diferentes pontos de vista sobre o quão promissora é a abordagem neuromórfica em comparação com tecnologias baseadas em abordagens totalmente composicionais. O voo das aves demonstrou a possibilidade física do aparecimento de mecanismos voadores mais pesados ​​que o ar, o que acabou por levar à construção de aeronaves. No entanto, mesmo os primeiros aviões que decolaram não batiam as asas. Qual será o caminho para o desenvolvimento da inteligência artificial? A questão permanece em aberto: se de acordo com o princípio da lei da aerodinâmica, que mantém no ar mecanismos pesados ​​de ferro, ou seja, aprendendo com a vida selvagem, mas não a imitando diretamente; de acordo com o princípio de se o dispositivo de um motor de combustão interna - isto é, copiando diretamente as ações das forças naturais.

O conceito de Turing de desenvolver um programa que recebe b O Muito do conhecimento por meio do aprendizado, e não como resultado da especificação de dados iniciais, também é aplicável à criação de inteligência artificial - tanto para abordagens neuromórficas quanto composicionais.

Uma variação do conceito de "máquina bebê" de Turing foi a ideia de um germe AI(105). No entanto, se a "máquina infantil", como Turing imaginou, deveria ter uma arquitetura relativamente fixa e desenvolver seu potencial acumulando contente, o germe da IA ​​será um sistema mais complexo, melhorando seu próprio arquitetura. Nos primeiros estágios de existência, a IA embrionária se desenvolve principalmente por meio da coleta de informações, agindo por tentativa e erro, com a ajuda de um programador. "Crescer", ele deve aprender por conta própria entender nos princípios de seu trabalho, para poder projetar novos algoritmos e estruturas computacionais que aumentem sua eficiência cognitiva. A compreensão necessária é possível apenas nos casos em que o germe da IA, em muitas áreas, atingiu um nível geral bastante alto de desenvolvimento intelectual ou em certas áreas - digamos, cibernética e matemática - superou um certo limite intelectual.

Isso nos leva a outro conceito importante chamado "auto-aperfeiçoamento recursivo". Um embrião de IA bem-sucedido deve ser capaz de autodesenvolvimento contínuo: a primeira versão cria uma versão melhorada de si mesma que é muito mais inteligente que a original; a versão melhorada, por sua vez, funciona sobre uma versão ainda melhor, e assim sucessivamente(106) . Sob certas condições, o processo de autoaperfeiçoamento recursivo pode continuar por muito tempo e, eventualmente, levar ao desenvolvimento explosivo da inteligência artificial. Isso se refere a um evento durante o qual, em um curto período de tempo, a inteligência geral do sistema cresce de um nível relativamente modesto (talvez em muitos aspectos, exceto para programação e pesquisa de IA, mesmo abaixo do humano) para superinteligente, radicalmente superior ao nível humano. No quarto capítulo, voltaremos a essa perspectiva, muito importante em seu significado, e analisaremos com mais detalhes a dinâmica do desenvolvimento dos eventos.

Observe que este modelo de desenvolvimento implica a possibilidade de surpresas. As tentativas de criar uma inteligência artificial universal podem, por um lado, terminar em fracasso total e, por outro lado, levar ao último elemento crítico ausente, após o qual o embrião da IA ​​se tornará capaz de autoaperfeiçoamento recursivo sustentável.

Antes de encerrar esta seção do capítulo, gostaria de enfatizar mais uma coisa: não é absolutamente necessário que a inteligência artificial seja comparada à mente humana. Admito plenamente que a IA se tornará completamente "alienígena" - muito provavelmente, isso acontecerá. Pode-se esperar que a arquitetura cognitiva da IA ​​seja muito diferente do sistema cognitivo humano; por exemplo, nos estágios iniciais, a arquitetura cognitiva terá pontos fortes e fracos muito diferentes (embora, como veremos, a IA será capaz de superar as deficiências iniciais). Acima de tudo, sistemas de IA propositais podem não ter nada a ver com o sistema proposital da humanidade. Não há razão para acreditar que a IA de nível médio começará a ser guiada por sentimentos humanos, como amor, ódio, orgulho - uma adaptação tão complexa exigirá muito trabalho caro, além disso, o surgimento de tal oportunidade para A IA deve ser tratada com muito cuidado. Isso é um grande problema e uma grande oportunidade. Voltaremos à motivação da IA ​​em capítulos posteriores, mas essa ideia é tão importante para o livro que vale a pena tê-la em mente o tempo todo.

Emulação completa do cérebro humano

Em um processo de simulação cerebral em grande escala, que chamamos de “emulação cerebral completa” ou “upload da mente”, a inteligência artificial é criada pela digitalização e reprodução precisa da estrutura computacional de um cérebro biológico. Assim, é preciso inspirar-se inteiramente na natureza - um caso extremo de plágio absoluto. Para que a emulação cerebral completa seja bem-sucedida, várias etapas específicas devem ser seguidas.

Primeira etapa. Uma varredura bastante detalhada do cérebro humano está sendo feita. Isso pode incluir a fixação do cérebro de uma pessoa falecida por vitrificação ou vitrificação (resultando em tecidos duros como vidro). Seções finas são então feitas a partir do tecido com uma máquina e passadas por outra máquina para varredura, possivelmente usando microscópios eletrônicos. Nesta fase, o material é tingido com corantes especiais para revelar suas propriedades estruturais e químicas. Ao mesmo tempo, muitos dispositivos de varredura operam em paralelo, processando simultaneamente várias seções de tecido.

Segunda fase. Os dados brutos dos scanners são carregados em um computador de processamento automático de imagem para reconstruir a rede neural 3D responsável pela cognição no cérebro biológico. Para reduzir o número de imagens de alta resolução que precisam ser armazenadas no buffer, esta etapa pode ser executada simultaneamente com a primeira. O mapa resultante é combinado com uma biblioteca de modelos neurocomputacionais em neurônios de diferentes tipos ou em diferentes elementos neuronais (por exemplo, as sinapses podem diferir). Alguns resultados da digitalização e processamento de imagem usando tecnologia moderna são mostrados na fig. 4.

Fim do segmento introdutório.

Nick Bostrom

Nick Bostrom

superinteligência

Caminhos, Perigos, Estratégias

Editores científicos M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

Publicado com permissão da Agência Alexander Korzhenevski

O suporte jurídico da editora é fornecido pelo escritório de advocacia "Vegas-Lex"

Este livro foi publicado originalmente em inglês em 2014. Esta tradução foi publicada mediante acordo com a Oxford University Press. A Editora é a única responsável por esta tradução do trabalho original e a Oxford University Press não terá nenhuma responsabilidade por quaisquer erros, omissões ou imprecisões ou ambiguidades em tal tradução ou por quaisquer perdas causadas pela confiança nela.

© Nick Bostrom, 2014

© Tradução para o russo, edição em russo, design. LLC "Mann, Ivanov e Ferber", 2016

Este livro é bem complementado

Avinash Dixit e Barry Nalbuff

Stephen Strogatz

Prefácio do Parceiro

... Eu tenho um amigo - disse Edik. - Ele afirma que o homem é um elo intermediário necessário para que a natureza crie a coroa da criação: um copo de conhaque com uma rodela de limão.

Arkady e Boris Strugatsky. Segunda-feira começa no sábado

O autor acredita que a ameaça mortal está associada à possibilidade de criar uma inteligência artificial que supere a mente humana. Uma catástrofe pode estourar tanto no final do século 21 quanto nas próximas décadas. Toda a história da humanidade mostra: quando há uma colisão entre um representante de nossa espécie, uma pessoa sensata, e qualquer outro habitante de nosso planeta, vence aquele que for mais inteligente. Até agora éramos os mais espertos, mas não temos garantias de que isso dure para sempre.

Nick Bostrom escreve que se os algoritmos de computador inteligentes aprenderem a fazer algoritmos ainda mais inteligentes por conta própria, e esses, por sua vez, ainda mais inteligentes, haverá um crescimento explosivo da inteligência artificial, em comparação com o qual as pessoas parecerão formigas ao lado das pessoas agora, em intelectualmente, é claro. Uma nova espécie, embora artificial, mas superinteligente, aparecerá no mundo. Não importa o que ele “vem à cabeça”, uma tentativa de fazer todas as pessoas felizes ou uma decisão de parar a poluição antrópica dos oceanos do mundo da maneira mais eficaz, ou seja, destruindo a humanidade, as pessoas ainda não serão capaz de resistir a ela. Sem chance de um confronto estilo filme Terminator, sem tiroteios com ciborgues de ferro. Xeque-mate e xeque-mate estão esperando por nós - como em um duelo entre um computador de xadrez Deep Blue e um aluno da primeira série.

Nos últimos cem ou dois anos, as conquistas da ciência despertaram em alguns deles a esperança de resolver todos os problemas da humanidade, enquanto em outros causaram e continuam a causar medo desenfreado. Ao mesmo tempo, deve-se dizer que ambos os pontos de vista parecem bastante justificados. Graças à ciência, doenças terríveis foram derrotadas, a humanidade hoje é capaz de alimentar um número sem precedentes de pessoas e, de um ponto do globo, você pode chegar ao oposto em menos de um dia. No entanto, pela graça da mesma ciência, as pessoas, usando a mais recente tecnologia militar, destroem umas às outras com velocidade e eficiência monstruosas.

Uma tendência semelhante - quando o rápido desenvolvimento da tecnologia não apenas leva à formação de novas oportunidades, mas também cria ameaças sem precedentes - vemos no campo da segurança da informação. Toda a nossa indústria surgiu e existe apenas porque a criação e distribuição em massa de coisas maravilhosas como computadores e a Internet criaram problemas que seriam inimagináveis ​​na era pré-computador. Como resultado do advento da tecnologia da informação, houve uma revolução nas comunicações humanas. Inclusive foi utilizado por vários tipos de cibercriminosos. E só agora a humanidade começa aos poucos a perceber novos riscos: cada vez mais objetos do mundo físico são controlados por computadores e softwares, muitas vezes imperfeitos, cheios de buracos e vulneráveis; um número cada vez maior desses objetos está conectado à Internet, e as ameaças ao cibermundo estão rapidamente se tornando questões de segurança física e potencialmente questões de vida ou morte.

É por isso que o livro de Nick Bostrom parece tão interessante. O primeiro passo para evitar cenários de pesadelo (para uma única rede de computadores ou para toda a humanidade) é entender em que eles podem consistir. Bostrom faz muitas reservas de que a criação de uma inteligência artificial comparável ou superior à mente humana - uma inteligência artificial capaz de destruir a humanidade - é apenas um cenário provável que pode não se concretizar. Claro, as opções são muitas, e o desenvolvimento da informática pode não destruir a humanidade, mas nos dará a resposta para "a principal questão da vida, do universo e tudo mais" (talvez realmente seja o número 42, como no romance "O Guia do Mochileiro das Galáxias") . Há esperança, mas o perigo é muito sério, alerta Bostrom. Na minha opinião, se existe a possibilidade de tal ameaça existencial à humanidade, ela deve ser tratada de acordo e, para evitá-la e protegê-la, esforços conjuntos devem ser feitos em escala global.

Gostaria de terminar minha introdução com uma citação do livro de Mikhail Weller "Man in the System":

Quando a fantasia, isto é, o pensamento humano enquadrado em imagens e tramas, repete algo por muito tempo e em detalhes - bem, não há fumaça sem fogo. Os filmes de ação banais de Hollywood sobre as guerras de pessoas com a civilização de robôs carregam um amargo grão de verdade sob a casca de uma aparência comercial.

Quando o programa de instintos transmitidos for incorporado aos robôs, e a satisfação desses instintos for incorporada como uma necessidade básica e incondicional, e isso atingirá o nível de auto-reprodução - então, rapazes, parem de lutar contra o fumo e o álcool, porque será um bom momento para beber e fumar diante do Khan para todos nós.

Evgeny Kaspersky, CEO da Kaspersky Lab

A história inacabada dos pardais

Um dia, no meio da nidificação, os pardais, cansados ​​de muitos dias de trabalho árduo, sentaram-se para descansar ao pôr do sol e piar sobre isso e aquilo.

Somos tão pequenos, tão fracos. Imagine como seria mais fácil viver se tivéssemos uma coruja como ajudante! um pardal cantou sonhador. “Ela poderia fazer ninhos para nós…”

– Ahá! concordou outro. “E cuidem de nossos velhos e filhotes...”

“E nos instruir e nos proteger do gato do vizinho”, acrescentou um terceiro.

Então Pastus, o pardal mais velho, sugeriu:

- Deixe os batedores voarem em diferentes direções em busca de uma coruja que caiu do ninho. No entanto, um ovo de coruja, um corvo e até um filhote de doninha servirão. Este achado será o maior sucesso para o nosso rebanho! Como aquele que encontramos no quintal com um suprimento inesgotável de grãos.

Os pardais, muito excitados, piaram que havia urina.

E apenas Skronfinkle caolho, um pardal cáustico de temperamento pesado, parecia duvidar da conveniência desse empreendimento.

“Escolhemos um caminho desastroso”, disse ele com convicção. “Você não deveria primeiro considerar seriamente as questões de domar e domesticar corujas antes de deixar uma criatura tão perigosa entrar em seu ambiente?”

“Parece-me”, Pastus disse a ele, “que a arte de domesticar corujas não é uma tarefa fácil. Encontrar um ovo de coruja é difícil pra caramba. Então vamos começar com a pesquisa. Se conseguirmos trazer um corujinho, pensaremos nos problemas da educação.

- Plano perverso! Skronfinkle cantou nervosamente.

Mas ninguém o ouviu. Sob a direção de Pastus, um bando de pardais ergueu-se no ar e partiu.

Apenas os pardais permaneceram no local, decidindo descobrir como domar corujas. Logo eles perceberam que Pastus estava certo: a tarefa era incrivelmente difícil, especialmente na ausência da própria coruja, na qual praticar. No entanto, os pássaros continuaram a estudar diligentemente o problema, porque temiam que o bando voltasse com um ovo de coruja antes que pudessem descobrir o segredo de como controlar o comportamento da coruja.

Introdução

Dentro do nosso crânio existe uma certa substância, graças a...

8 Em geral

getAbstract review

Segundo o futurista de Oxford, Nick Bostrom, a inteligência artificial pode se tornar uma ferramenta para garantirmos segurança, prosperidade econômica e desenvolvimento intelectual, mas a humanidade pode não ser capaz de realizar todo o potencial dessa ferramenta. Bostrom critica passo a passo as falhas inerentes à percepção humana da IA ​​e parece que os humanos não têm recursos ou imaginação para entender a transição de um mundo dominado por humanos para um mundo ameaçado ou já escravizado por alguns. entidade que tem supermente. Bostrom descreve magistralmente como tal superinteligência poderia surgir, como evoluiria para um “singleton” todo-poderoso e que ameaça representaria. Por exemplo, o que acontecerá, ele pergunta, se essa IA se desenvolver a tal ponto que forme um governo mundial que não seja guiado pelos princípios éticos tradicionais? Informativo, repleto de referências a diversas fontes, o livro estimula o leitor a pensar sobre muitas incógnitas. O raciocínio do autor baseia-se na análise de toda uma gama de cenários possíveis para o futuro. Este estudo aprofundado é projetado principalmente para leitores com um interesse especial no tópico. getAbstract recomenda a políticos, futuristas, estudantes, investidores, filósofos e a todos que pensam em alta tecnologia.

Do resumo do livro você aprenderá:

• Como a tecnologia conhecida como “inteligência artificial” está evoluindo;
• O que os cientistas propõem para usar e controlar a IA;
• Por que a humanidade não está pronta para lidar com a IA.

Sobre o autor

Nick Bostrom Professor da Universidade de Oxford, Diretor Fundador do Future of Humanity Institute.

Perspectivas para o surgimento da superinteligência

No verão de 1956, um grupo de cientistas se reuniu no Dartmouth College para estudar as perspectivas do desenvolvimento humano. Eles estavam interessados ​​principalmente em saber se as máquinas poderiam replicar as funções da inteligência humana. A pesquisa sobre esse tópico continuou com vários graus de sucesso. A década de 1980 viu o desenvolvimento de programas baseados em regras, ou "sistemas especialistas", e parecia que as tecnologias que poderiam ser usadas para construir inteligência artificial estavam prestes a florescer. Então o progresso estagnou e o financiamento acabou. Os esforços de IA receberam um impulso na década de 1990 com o advento de “algoritmos genéticos” e “redes neurais”.

Uma medida da força da IA ​​é quão bem os computadores especialmente projetados jogam jogos como xadrez, bridge, polímata, go e quiz. Em cerca de 10 anos, um computador com algoritmos aprimorados será capaz de derrotar o campeão mundial de Go. Além dos jogos, tecnologias semelhantes são utilizadas em aparelhos auditivos, dispositivos de reconhecimento facial e de fala, em navegação, diagnóstico, planejamento, logística, bem como na criação de robôs industriais, cuja funcionalidade...

Página atual: 1 (o livro total tem 40 páginas) [trecho de leitura acessível: 8 páginas]

Este livro é bem complementado

Teoria do jogo

Avinash Dixit e Barry Nalbuff

Brainiac

Ken Jennings

prazer de x

Stephen Strogatz

superinteligência

Caminhos, Perigos, Estratégias

Nick Bostrom

Inteligência artificial

Estágios. Ameaças. Estratégias

"Mann, Ivanov e Ferber"

Informação

da editora

Editores científicos M. S. Burtsev, E. D. Kazimirova, A. B. Lavrentiev

Publicado com permissão da Agência Alexander Korzhenevski

Publicado em russo pela primeira vez

Bostrom, Nick

Inteligência artificial. Estágios. Ameaças. Estratégia / Nick Bostrom; por. do inglês. S. Filin. - M.: Mann, Ivanov e Ferber, 2016.

ISBN 978-5-00057-810-0

O que acontecerá se as máquinas superarem os humanos em inteligência? Eles vão nos ajudar ou destruir a raça humana? Podemos hoje ignorar o problema do desenvolvimento da inteligência artificial e nos sentirmos completamente seguros?

Em seu livro, Nick Bostrom tenta entender o problema que a humanidade enfrenta em conexão com a perspectiva do aparecimento de uma superinteligência e analisar sua resposta.

Todos os direitos reservados.

Nenhuma parte deste livro pode ser reproduzida de qualquer forma sem a permissão por escrito dos detentores dos direitos autorais.

O suporte jurídico da editora é fornecido pelo escritório de advocacia "Vegas-Lex"

Este livro foi publicado originalmente em inglês em 2014. Esta tradução foi publicada mediante acordo com a Oxford University Press. A Editora é a única responsável por esta tradução do trabalho original e a Oxford University Press não terá nenhuma responsabilidade por quaisquer erros, omissões ou imprecisões ou ambiguidades em tal tradução ou por quaisquer perdas causadas pela confiança nela.

© Nick Bostrom, 2014

© Tradução para o russo, edição em russo, design. LLC "Mann, Ivanov e Ferber", 2016

Prefácio do Parceiro

... Eu tenho um amigo - disse Edik. - Ele afirma que o homem é um elo intermediário necessário para que a natureza crie a coroa da criação: um copo de conhaque com uma rodela de limão.

Arkady e Boris Strugatsky. Segunda-feira começa no sábado

O autor acredita que a ameaça mortal está associada à possibilidade de criar uma inteligência artificial que supere a mente humana. Uma catástrofe pode estourar tanto no final do século 21 quanto nas próximas décadas. Toda a história da humanidade mostra: quando há uma colisão entre um representante de nossa espécie, uma pessoa sensata, e qualquer outro habitante de nosso planeta, vence aquele que for mais inteligente. Até agora éramos os mais espertos, mas não temos garantias de que isso dure para sempre.

Nick Bostrom escreve que se os algoritmos de computador inteligentes aprenderem a fazer algoritmos ainda mais inteligentes por conta própria, e esses, por sua vez, ainda mais inteligentes, haverá um crescimento explosivo da inteligência artificial, em comparação com o qual as pessoas parecerão formigas ao lado das pessoas agora, em intelectualmente, é claro. Uma nova espécie, embora artificial, mas superinteligente, aparecerá no mundo. Não importa o que ele “vem à cabeça”, uma tentativa de fazer todas as pessoas felizes ou uma decisão de parar a poluição antrópica dos oceanos do mundo da maneira mais eficaz, ou seja, destruindo a humanidade, as pessoas ainda não serão capaz de resistir a ela. Sem chance de um confronto estilo filme Terminator, sem tiroteios com ciborgues de ferro. Xeque-mate e xeque-mate estão esperando por nós - como em um duelo entre um computador de xadrez Deep Blue e um aluno da primeira série.

Nos últimos cem ou dois anos, as conquistas da ciência despertaram em alguns deles a esperança de resolver todos os problemas da humanidade, enquanto em outros causaram e continuam a causar medo desenfreado. Ao mesmo tempo, deve-se dizer que ambos os pontos de vista parecem bastante justificados. Graças à ciência, doenças terríveis foram derrotadas, a humanidade hoje é capaz de alimentar um número sem precedentes de pessoas e, de um ponto do globo, você pode chegar ao oposto em menos de um dia. No entanto, pela graça da mesma ciência, as pessoas, usando a mais recente tecnologia militar, destroem umas às outras com velocidade e eficiência monstruosas.

Uma tendência semelhante - quando o rápido desenvolvimento da tecnologia não apenas leva à formação de novas oportunidades, mas também cria ameaças sem precedentes - vemos no campo da segurança da informação. Toda a nossa indústria surgiu e existe apenas porque a criação e distribuição em massa de coisas maravilhosas como computadores e a Internet criaram problemas que seriam inimagináveis ​​na era pré-computador. Como resultado do advento da tecnologia da informação, houve uma revolução nas comunicações humanas. Inclusive foi utilizado por vários tipos de cibercriminosos. E só agora a humanidade começa aos poucos a perceber novos riscos: cada vez mais objetos do mundo físico são controlados por computadores e softwares, muitas vezes imperfeitos, cheios de buracos e vulneráveis; um número cada vez maior desses objetos está conectado à Internet, e as ameaças ao cibermundo estão rapidamente se tornando questões de segurança física e potencialmente questões de vida ou morte.

É por isso que o livro de Nick Bostrom parece tão interessante. O primeiro passo para evitar cenários de pesadelo (para uma única rede de computadores ou para toda a humanidade) é entender em que eles podem consistir. Bostrom faz muitas reservas de que a criação de uma inteligência artificial comparável ou superior à mente humana - uma inteligência artificial capaz de destruir a humanidade - é apenas um cenário provável que pode não se concretizar. Claro, as opções são muitas, e o desenvolvimento da informática pode não destruir a humanidade, mas nos dará a resposta para "a principal questão da vida, do universo e tudo mais" (talvez realmente seja o número 42, como no romance "O Guia do Mochileiro das Galáxias") . Há esperança, mas o perigo é muito sério, alerta Bostrom. Na minha opinião, se existe a possibilidade de tal ameaça existencial à humanidade, ela deve ser tratada de acordo e, para evitá-la e protegê-la, esforços conjuntos devem ser feitos em escala global.

Gostaria de terminar minha introdução com uma citação do livro de Mikhail Weller "Man in the System":

Quando a fantasia, isto é, o pensamento humano enquadrado em imagens e tramas, repete algo por muito tempo e em detalhes - bem, não há fumaça sem fogo. Os filmes de ação banais de Hollywood sobre as guerras de pessoas com a civilização de robôs carregam um amargo grão de verdade sob a casca de uma aparência comercial.

Quando o programa de instintos transmitidos for incorporado aos robôs, e a satisfação desses instintos for incorporada como uma necessidade básica e incondicional, e isso atingirá o nível de auto-reprodução - então, rapazes, parem de lutar contra o fumo e o álcool, porque será um bom momento para beber e fumar diante do Khan para todos nós.

Eugene Kaspersky,

Diretor Geral da Kaspersky Lab

A história inacabada dos pardais

Um dia, no meio da nidificação, os pardais, cansados ​​de muitos dias de trabalho árduo, sentaram-se para descansar ao pôr do sol e piar sobre isso e aquilo.

Somos tão pequenos, tão fracos. Imagine como seria mais fácil viver se tivéssemos uma coruja como ajudante! um pardal cantou sonhador. “Ela poderia fazer ninhos para nós…”

– Ahá! concordou outro. “E cuidem de nossos velhos e filhotes...”

“E nos instruir e nos proteger do gato do vizinho”, acrescentou um terceiro.

Então Pastus, o pardal mais velho, sugeriu:

- Deixe os batedores voarem em diferentes direções em busca de uma coruja que caiu do ninho. No entanto, um ovo de coruja, um corvo e até um filhote de doninha servirão. Este achado será o maior sucesso para o nosso rebanho! Como aquele que encontramos no quintal com um suprimento inesgotável de grãos.

Os pardais, muito excitados, piaram que havia urina.

E apenas Skronfinkle caolho, um pardal cáustico de temperamento pesado, parecia duvidar da conveniência desse empreendimento.

“Escolhemos um caminho desastroso”, disse ele com convicção. “Você não deveria primeiro considerar seriamente as questões de domar e domesticar corujas antes de deixar uma criatura tão perigosa entrar em seu ambiente?”

“Parece-me”, Pastus disse a ele, “que a arte de domesticar corujas não é uma tarefa fácil. Encontrar um ovo de coruja é difícil pra caramba. Então vamos começar com a pesquisa. Se conseguirmos trazer um corujinho, pensaremos nos problemas da educação.

- Plano perverso! Skronfinkle cantou nervosamente.

Mas ninguém o ouviu. Sob a direção de Pastus, um bando de pardais ergueu-se no ar e partiu.

Apenas os pardais permaneceram no local, decidindo descobrir como domar corujas. Logo eles perceberam que Pastus estava certo: a tarefa era incrivelmente difícil, especialmente na ausência da própria coruja, na qual praticar. No entanto, os pássaros continuaram a estudar diligentemente o problema, porque temiam que o bando voltasse com um ovo de coruja antes que pudessem descobrir o segredo de como controlar o comportamento da coruja.

Introdução

Dentro do nosso crânio existe uma certa substância, graças à qual podemos, por exemplo, ler. Essa substância - o cérebro humano - é dotada de capacidades ausentes em outros mamíferos. Na verdade, as pessoas devem sua posição dominante no planeta justamente a essas características. Alguns animais se distinguem pelos músculos mais poderosos e pelas presas mais afiadas, mas nem um único ser vivo, exceto o homem, é dotado de uma mente tão perfeita. Em virtude de um nível intelectual superior, conseguimos criar ferramentas como linguagem, tecnologia e organização social complexa. Com o tempo, nossa vantagem apenas se fortaleceu e se expandiu, à medida que cada nova geração, contando com as conquistas de seus antecessores, avançava.

Se alguma vez for desenvolvida uma inteligência artificial que ultrapasse o nível geral de desenvolvimento da mente humana, então uma inteligência superpoderosa aparecerá no mundo. E então o destino de nossa espécie dependerá diretamente das ações desses sistemas técnicos inteligentes - assim como o destino atual dos gorilas é amplamente determinado não pelos próprios primatas, mas pelas intenções humanas.

No entanto, a humanidade realmente tem uma vantagem inegável, pois cria sistemas técnicos inteligentes. Em princípio, quem nos impede de inventar tal superinteligência que levará os valores humanos universais sob sua proteção? Claro, temos muito boas razões para nos proteger. Em termos práticos, teremos que lidar com a questão mais difícil de controle - como controlar os planos e ações da supermente. E as pessoas poderão usar uma única chance. Assim que nasce uma inteligência artificial (IA) hostil, ela imediatamente começa a interferir em nossos esforços para se livrar dela ou pelo menos corrigir suas configurações. E então o destino da humanidade será selado.

Em meu livro, tento entender o problema que as pessoas enfrentam em relação à perspectiva de uma superinteligência e analiso sua resposta. Talvez a agenda mais séria e assustadora que a humanidade já recebeu nos espere. E independentemente de ganharmos ou perdermos, é possível que este desafio seja o nosso último. Não apresento aqui nenhum argumento a favor de uma ou outra versão: estamos à beira de um grande avanço na criação da inteligência artificial; é possível prever com certa precisão quando um determinado evento revolucionário acontecerá. Muito provavelmente neste século. É improvável que alguém mencione uma data mais específica.

Nos dois primeiros capítulos, abordarei diferentes áreas científicas e abordarei brevemente um tema como o ritmo de desenvolvimento econômico. No entanto, o foco principal do livro é o que acontecerá após o surgimento da superinteligência. Temos que discutir as seguintes questões: a dinâmica do desenvolvimento explosivo da inteligência artificial; suas formas e potencialidades; opções estratégicas de que será dotado e, em consequência, receberá uma vantagem decisiva. Depois disso, analisaremos o problema de controle e tentaremos resolver o problema mais importante: é possível modelar tais condições iniciais que nos permitirão manter nossa própria superioridade e, finalmente, sobreviver. Nos últimos capítulos, vamos nos afastar dos detalhes e examinar o problema de forma mais ampla, a fim de cobrir toda a situação que se desenvolveu como resultado de nosso estudo. Trago a sua atenção algumas recomendações sobre o que deve ser feito hoje para evitar uma catástrofe que ameace a existência da humanidade no futuro.

Escrever este livro não foi fácil. Espero que o caminho percorrido beneficie outros pesquisadores. Eles alcançarão novas fronteiras sem obstáculos desnecessários e, cheios de energia, poderão se envolver rapidamente no trabalho, graças ao qual as pessoas terão plena consciência da complexidade do problema que enfrentam. (Se, no entanto, a estrada de estudo parece aos futuros analistas um tanto sinuosa e esburacada em alguns lugares, espero que eles apreciem o quão intransitável era a paisagem antes.)

Apesar das dificuldades associadas ao trabalho do livro, tentei apresentar o material em uma linguagem acessível; No entanto, agora vejo que não consegui lidar com isso. Naturalmente, enquanto escrevia, recorri mentalmente a um leitor em potencial e por algum motivo sempre me imaginei nesse papel, apenas um pouco mais jovem que o atual - descobri que estava fazendo um livro que poderia despertar interesse principalmente em mim, mas não sobrecarregado pelo passado por anos. Talvez seja isso que determinará o pequeno número de leitores no futuro. No entanto, na minha opinião, o conteúdo do livro será acessível a muitas pessoas. Só precisamos fazer algum esforço mental, parar de rejeitar novas ideias do nada e resistir à tentação de substituir tudo o que é incompreensível por estereótipos convenientes que todos pescamos facilmente em nossas reservas culturais. Leitores que não possuem conhecimentos especiais não devem ceder a cálculos matemáticos e termos desconhecidos que ocorrem em alguns lugares, pois o contexto sempre permite entender a ideia principal. (Os leitores que desejam, por outro lado, aprender mais detalhes acharão muito interessante nas notas.)

É provável que grande parte do livro esteja incorreta2. Talvez eu tenha negligenciado algumas considerações importantes, como resultado das quais algumas de minhas conclusões - e talvez todas - sejam errôneas. Para não perder a menor nuance e indicar o grau de incerteza com o qual estamos lidando, tive que recorrer a marcadores específicos - então meu texto está sobrecarregado com bolhas verbais feias como "talvez", "poderia", "talvez" , "gosto", "provavelmente", "muito provável", "quase certamente". No entanto, toda vez que recorro à ajuda de palavras introdutórias com muito cuidado e consideração. No entanto, para indicar as limitações gerais dos pressupostos epistemológicos, um desses dispositivos estilísticos claramente não é suficiente; o autor deve desenvolver uma abordagem sistemática para raciocinar em condições de incerteza e indicar diretamente a possibilidade de erro. Isso não é de forma alguma falsa modéstia. Sinceramente, admito que pode haver sérios equívocos e conclusões incorretas em meu livro, mas, ao mesmo tempo, estou convencido de que os pontos de vista alternativos apresentados na literatura são ainda piores. Além disso, isso também se aplica à “hipótese nula” geralmente aceita, segundo a qual hoje podemos, com absoluta razão, ignorar o problema do surgimento de uma superinteligência e nos sentirmos completamente seguros.

Capítulo primeiro

Conquistas passadas e oportunidades de hoje

Vamos começar com um apelo ao passado distante. Em termos gerais, a história é uma sucessão de diferentes padrões de crescimento, e o processo está se acelerando progressivamente. Esse padrão nos dá o direito de supor que o próximo - ainda mais rápido - período de crescimento é possível. No entanto, dificilmente vale a pena dar muita importância a tal consideração, já que o tema de nosso livro não é “aceleração tecnológica”, nem “crescimento exponencial”, ou mesmo aqueles fenômenos que costumam ser apresentados sob o conceito de “singularidade”. A seguir, discutiremos o pano de fundo: como a pesquisa em inteligência artificial evoluiu. Em seguida, passaremos à situação atual: o que está acontecendo hoje nesta área. Por fim, vamos dar uma olhada em algumas das avaliações mais recentes de especialistas e falar sobre nossa incapacidade de prever o momento de novos desenvolvimentos.

Padrões de crescimento e história humana

Apenas alguns milhões de anos atrás, os ancestrais humanos ainda viviam nas copas das árvores africanas, pulando de galho em galho. Aparência homo sapiens, ou Homo sapiens, separado de nossos ancestrais comuns com macacos antropóides, do ponto de vista geológico e até evolutivo, aconteceu de maneira muito tranquila. Os antigos assumiram uma posição vertical e os polegares de suas mãos começaram a se destacar visivelmente do resto. Mais importante, entretanto, houve mudanças relativamente pequenas no volume do cérebro e na organização do sistema nervoso, que acabaram levando a um salto gigantesco no desenvolvimento mental humano. Como resultado, as pessoas têm a capacidade de pensar de forma abstrata. Eles começaram não apenas a expressar pensamentos complexos de forma coerente, mas também a criar uma cultura da informação, ou seja, acumular informações e conhecimentos e transmiti-los de geração em geração. Deve-se dizer que o homem aprendeu a fazer isso muito melhor do que qualquer outro ser vivo do planeta.

A humanidade antiga, usando as habilidades que surgiram nela, desenvolveu métodos de produção cada vez mais racionais, graças aos quais conseguiu migrar muito além das selvas e savanas. Imediatamente após o advento da agricultura, o tamanho da população e sua densidade começaram a crescer rapidamente. Mais pessoas - mais ideias e alta densidade contribuíram não apenas para a rápida disseminação de novas tendências, mas também para o surgimento de vários especialistas, o que fez com que entre as pessoas houvesse um aprimoramento constante das habilidades profissionais. Esses fatores aumentaram ritmo de desenvolvimento econômico, possibilitou o crescimento da produtividade e a formação de capacidade técnica. Posteriormente, um progresso de igual importância, levando à revolução industrial, provocou um segundo salto histórico na aceleração do ritmo de crescimento.

Esta taxa de crescimento dinâmico teve implicações importantes. Por exemplo, no alvorecer da humanidade, quando a Terra era habitada pelos progenitores dos humanos modernos, ou hominídeos, o desenvolvimento econômico era muito lento, levando cerca de um milhão de anos para o crescimento da capacidade produtiva, de modo que a população do planeta permitiu-se aumentar em um milhão de pessoas, e existindo à beira da sobrevivência. E depois da revolução neolítica, por volta de 5000 AC. AC, quando a humanidade passou de uma sociedade caçadora-coletora para um modelo econômico agrícola, a taxa de crescimento aumentou tanto que duzentos anos foram suficientes para o mesmo crescimento populacional. Hoje, desde a Revolução Industrial, a economia global cresce aproximadamente na mesma proporção a cada hora e meia.

A taxa de crescimento atual - mesmo que seja desativada por um tempo relativamente longo - levará a resultados impressionantes. Suponha que a economia mundial continue crescendo a um ritmo médio característico dos últimos cinquenta anos, mesmo assim, a população do planeta no futuro ficará mais rica do que hoje: em 2050 - 4,8 vezes e em 2100 - 34 vezes2.

No entanto, as perspectivas de crescimento exponencial sustentado empalidecem em comparação com o que poderia acontecer quando o mundo passar pela próxima mudança radical em um ritmo comparável em magnitude e impacto às revoluções neolítica e industrial. Com base em dados históricos sobre atividade econômica e população, o economista Robin Hanson estimou que a sociedade caçadora-coletora do Pleistoceno teve um tempo de duplicação de 224.000 anos, uma sociedade agrária 909 anos e uma sociedade industrial 6,3 anos. (Segundo o paradigma de Hanson, o modelo econômico moderno, que tem uma estrutura agroindustrial mista, ainda não está se desenvolvendo a uma taxa de duplicação a cada 6,3 anos.) Se tal salto já tivesse ocorrido no desenvolvimento mundial, comparável em seu significado revolucionário ao os dois anteriores, então a economia teria atingido um novo patamar e teria dobrado sua taxa de crescimento aproximadamente a cada duas semanas.

Do ponto de vista de hoje, tais taxas de desenvolvimento parecem fantásticas. Mas mesmo testemunhas de eras passadas dificilmente poderiam imaginar que a taxa de crescimento da economia mundial um dia dobraria várias vezes no curso de uma única geração. O que parecia completamente impensável para eles, percebemos como a norma.

A ideia de aproximação de uma singularidade tecnológica tornou-se extremamente popular após o trabalho pioneiro de Vernon Vinge, Ray Kurzweil e outros4. No entanto, o conceito de “singularidade”, que é utilizado em vários significados, já adquiriu um significado estável no espírito do utopismo tecnológico e até adquiriu uma aura de algo assustador e ao mesmo tempo bastante majestoso5. Como a maioria das definições da palavra singularidade não estão relacionados com o assunto de nosso livro, obteremos maior clareza se nos livrarmos deles em favor de termos mais precisos.

A ideia que nos interessa, relacionada com a noção de singularidade, é o potencial desenvolvimento explosivo da inteligência, especialmente na perspectiva de criar uma superinteligência artificial. Possivelmente mostrado na Fig. 1 curvas de crescimento convencerão alguns de vocês de que estamos à beira de um novo salto intenso no ritmo de desenvolvimento - um salto comparável às revoluções neolítica e industrial. Muito provavelmente, é até difícil para quem confia em gráficos imaginar um cenário em que o tempo de duplicação da economia mundial seja reduzido a semanas sem a participação de uma mente superpoderosa, muitas vezes mais rápida e eficiente do que a nossa habitual. mente biológica. Porém, não é preciso se exercitar em traçar curvas de crescimento e extrapolar taxas históricas de desenvolvimento econômico para começar a se responsabilizar pelo surgimento revolucionário da inteligência artificial. Esse problema é tão sério que dispensa qualquer argumento desse tipo. Como veremos, há razões muito mais convincentes para ser cauteloso.

Arroz. 1. Dinâmica do PIB mundial ao longo de um longo período histórico. Em uma escala linear, a história da economia mundial é exibida como uma linha, a princípio quase se fundindo com o eixo horizontal e, em seguida, correndo verticalmente para cima. A. Mesmo expandindo os limites de tempo para dez mil anos no passado, vemos que a linha dá um solavanco para cima a partir de um certo ponto de quase noventa graus. B. A linha se separa visivelmente do eixo horizontal apenas no nível de aproximadamente os últimos cem anos. (A diferença nas curvas nos diagramas se deve a um conjunto de dados diferente, então os indicadores são um pouco diferentes uns dos outros6.)

Altas expectativas

Desde a invenção dos primeiros computadores eletrônicos na década de 1940, as pessoas não pararam de prever o surgimento de um computador cujo nível de inteligência será comparável ao de um ser humano. Refere-se a um sistema técnico razoável dotado de bom senso, com capacidade de aprender e pensar, capaz de planejar e processar informações de forma abrangente, coletadas de diversas fontes - reais e teóricas. Naquela época, muitos esperavam que essas máquinas se tornassem realidade em vinte e sete anos. Desde então, a linha do tempo vem mudando a uma taxa de um ano por ano, ou seja, hoje os futurologistas, convencidos da probabilidade de criar inteligência artificial, continuam acreditando que “máquinas inteligentes” aparecerão em algumas décadas8.

O prazo de vinte anos é amado por todos os preditores de mudanças fundamentais. Por um lado, não é muito longo - e, portanto, o assunto da discussão atrai grande atenção; por outro lado, não é tão rápido, o que permite sonhar com várias descobertas científicas importantes - no entanto, as ideias sobre elas no momento da previsão são muito vagas, mas sua implementação é praticamente inquestionável. Compare isso com os períodos de previsão mais curtos estabelecidos para diferentes tecnologias destinadas a ter um impacto significativo no mundo: de cinco a dez anos - no momento da previsão, a maioria das soluções técnicas já está parcialmente aplicada; quinze anos - no momento da previsão, essas tecnologias já existem na forma de versões de laboratório. Além disso, vinte anos costumam estar próximos da vida profissional restante média do previsor, o que reduz o risco reputacional associado à sua previsão audaciosa.

No entanto, devido às expectativas superestimadas e não realizadas dos últimos anos, não se deve concluir imediatamente que a criação de inteligência artificial é impossível em princípio e que ninguém jamais a desenvolverá9. A principal razão pela qual o progresso tem sido mais lento do que o esperado tem a ver com os problemas técnicos que surgiram no desenvolvimento de máquinas inteligentes. Os pioneiros não previram todas as dificuldades que teriam de enfrentar. Além disso, as questões: se o grau de gravidade desses obstáculos é grande e quão longe estamos de superá-los - ainda permanecem em aberto. Às vezes, problemas que inicialmente parecem irremediavelmente difíceis têm uma solução surpreendentemente simples (embora mais frequentemente, talvez, o oposto seja verdadeiro).

Veremos os caminhos que podem levar à inteligência artificial que rivaliza com a dos humanos no próximo capítulo. Mas agora gostaria de chamar sua atenção para um aspecto importante. Haverá muitas paradas entre o ponto de partida atual e o futuro quando a inteligência artificial aparecer, mas este momento não é de forma alguma o destino final. Bem perto, a próxima parada será a estação Overmind, uma implementação de inteligência artificial de nível que não apenas se iguala à mente humana, mas a supera amplamente. Após a última parada, nosso trem vai acelerar tanto que na estação "Chelovek" não vai conseguir não só parar, mas até desacelerar. Muito provavelmente, ele passará assobiando. O matemático britânico Irving John Goode, que trabalhou como criptógrafo para a equipe de Alan Turing durante a Segunda Guerra Mundial, foi provavelmente o primeiro a apresentar os detalhes cruciais desse cenário. Em seu muito citado artigo de 1965 sobre as primeiras máquinas superinteligentes, ele escreveu:

Vamos definir uma máquina superinteligente como uma máquina que está muito além da capacidade intelectual de qualquer um dos seres humanos mais inteligentes. Como a criação de tais máquinas é resultado da atividade mental humana, uma máquina dotada de superinteligência poderá desenvolver máquinas ainda mais perfeitas; como resultado, sem dúvida haverá tal "explosão intelectual" que a mente humana será jogada para trás. Assim, a primeira máquina superinteligente será a última conquista da mente humana - no entanto, apenas se não mostrar tratabilidade suficiente e não nos explicar como mantê-la sob controle.

O desenvolvimento explosivo da inteligência artificial pode acarretar um dos principais riscos existenciais - hoje em dia esse estado de coisas é percebido como trivial; portanto, as perspectivas desse crescimento devem ser encaradas com a maior seriedade, ainda que se saiba (mas não seja verdade) que a probabilidade da ameaça é relativamente baixa. No entanto, os pioneiros no campo da inteligência artificial, apesar de acreditarem no surgimento iminente de uma inteligência artificial não inferior à humana, em sua maioria negaram a possibilidade do surgimento de uma superinteligência que supere a mente humana. Parece que sua imaginação - em uma tentativa de compreender a possibilidade final de futuras máquinas comparáveis ​​​​em suas habilidades de pensamento aos humanos - simplesmente secou e eles facilmente perderam a conclusão inevitável: o nascimento de máquinas superinteligentes será o próximo passo.

A maioria dos pioneiros não apoiou a ansiedade emergente na sociedade, considerando um completo absurdo que seus projetos carregassem um certo risco para a humanidade11. Nenhum deles, em palavras ou atos - nem um único estudo sério sobre o assunto - tentou compreender as ansiedades de segurança ou as dúvidas éticas associadas à criação da inteligência artificial e ao domínio potencial dos computadores; esse fato é surpreendente mesmo diante dos padrões não muito elevados de avaliação de novas tecnologias característicos da época12. Só podemos esperar que, quando sua visão ousada finalmente se concretizar, possamos não apenas alcançar uma experiência científica e técnica digna para neutralizar o desenvolvimento explosivo da inteligência artificial, mas também alcançar o mais alto nível de profissionalismo, que não vai doer nada se a humanidade quiser sobreviver ao advento de máquinas superinteligentes em seu mundo.

Mas antes de voltar nossos olhos para o futuro, seria útil relembrar brevemente a história da criação da inteligência das máquinas.

O caminho da esperança e do desespero