Segurança: Uma Linha Fina Entre a Vida e o Caos

Um episódio da história da aeronáutica – e da guerra – ilustra de uma maneira muito gráfica a curtíssima distância entre o yin e o yang.

Boeng B-17 – Imagem: Wikimedia Commons

Na Segunda Guerra Mundial, o Boeing B-17 Flying Fortress foi o bombardeiro padrão dos EUA. Como seria de esperar, muitos deles foram perdidos durante o combate, mas muitos também foram perdidos depois de completada a missão, ao pousar de volta à base. Culpa dos pilotos, clamavam uns. Culpa da formação, clamavam outros. Culpa da manutenção, diziam outros mais. Até a qualidade das pistas recebeu seu quinhão de culpa. Mas nenhuma hipótese era suportada por qualquer tipo de evidência.

Depois da guerra, finalmente tiveram tempo de fazer uma nova investigação para tentar entender o que realmente tinha acontecido.

A linha fina

Imagine que você esteve a participar de um bombardeio estressante por doze horas. Você está cansado. Está escuro. Está chovendo e você está na aproximação final da sua base. Você estende a mão para acionar o interruptor que engata o trem de pouso e, de repente, com uma guinada brusca, sua aeronave estola e bate no chão, matando todos a bordo. Esta imagem do painel de instrumentos do cockpit do B-17 mostra o que o piloto estaria vendo nesse momento:

Painel de instrumentos do B-17

Não há quantidade de treinamento no mundo que possa compensar essa falha de design. Não há nada para impedir que o erro mais banal se transforme em uma catástrofe. O interruptor ‘pouso tranquilo’ (opera o trem de pouso) e o interruptor ‘morte horrível’ (opera os flaps) são muito próximos um do outro, e idênticos.

“Culpar os usuários por não serem capazes de operar com segurança um projeto terrivelmente mal desenhado.” Já ouvimos isso antes.

Essa investigação levou a algo chamado “codificação de forma” que persiste até hoje como uma linguagem de design. A maioria das aeronaves modernas acionam o trem de pouso através de uma alavanca com um pequeno ressalto em forma de roda na extremidade; quando você toca na alavanca, você sabe o que está segurando. O controle dos flaps é hoje um grande tarugo quadrado e – adivinhe – eles não estão próximos um do outro. O mundo aeronáutico aprende com seus erros.

Alavancas para trem de pouso e flaps, depois de revisadas.

Aplicar o exemplo na cultura digital

Na segurança cibernética, criamos soluções sofisticadas para problemas incrivelmente difíceis, gerenciamos riscos capazes de dar nó no estômago de um camelo e levamos os computadores a fazer coisas que ninguém pensava ser possível (ou mesmo desejável). Mas também continuamos a fazer exigências ridículas aos usuários: faça isso, não faça aquilo, não clique em links, repeite a política de senhas…

Fornecemos aos usuários alavancas mal projetadas. Esperamos que implementações de tecnologia arbitrariamente complexas sejam perfeitas e livres de vulnerabilidades a longo prazo. Ao mesmo assumimos uma postura crítica quando o software que recebemos sem custo da comunidade open-source falha ao sofrer um ataque organizado por um estado-nação como a Rússia.

Aqui há uma dissonância cognitiva interessante, mas não encontrei uma maneira de identificar quais são nossas falsas expectativas tecnológicas; quando estamos a exigir da tecnologia coisas idiotas. O mais próximo que eu chego disso é tentar determinar onde está o ônus da segurança e se é razoável pedir à parte interessada que o assuma.

É razoável pedir a uma empresa de dez pessoas que se defenda dos russos?

Não.

É razoável pedir a uma empresa de infraestrutura crítica que não conecte seus sistemas sensíveis à Internet com a senha ‘Senh@01-08-2002‘?

Com mil demồnios, claro que é!

É preciso trazer para a o design de UI (interfaces gráficas), uma área particularmente sensível ás questões de segurança, conceitos equivalentes à citada codificação de forma – como a usada nas outras engenharias – no desenvolvimento de sistemas digitais seguros. O caminho crítico para tornar a segurança cibernética escalável a longo prazo é colocar as várias responsabilidades de segurança nos lugares certos e incentivar adequadamente as pessoas que precisam gerenciar essas responsabilidades. Às vezes, a pessoa óbvia para gerenciar o ônus da segurança não será a pessoa ideal para o cargo. É preciso então mudar as coisas para que elas sejam melhor dimensionadas e se adaptem ao ambiente.

Sendo uma atividade humana, o campo da segurança cibernética também sofre muito com o pensamento de manada, apego ao passado e argumentos de autoridade. Então, deixo aqui uma ideia – ou apelo. A comunidade de segurança cibernética deve:

  • conversar com pessoas não-técnicas e realmente ouvi-las
  • construir coisas que funcionem para a maioria das pessoas, na maioria das vezes
  • se colocar no lugar dos usuários
  • perguntar se realmente estamos sendo sensatos em nossas expectativas quanto ao comportamento do usuário

Ainda não chegamos a isso.

Stable Diffusion: Variações Sobre um Leão

Uma postagem visual para suavizar o mais vital de todos os fins de semana da história brasileira. Minha exploração da arte digital baseada em Difusão Latente continua.

Meu pequeno logotipo é uma linda obra de arte, que chegou às minhas mãos na adolescência e que tenho até hoje. É uma charge de jornal – estrangeiro – do início do século 19, cujo o autor eu ainda não identifiquei, mas sigo procurando.

A arte, sobre a qual ainda falarei mais, mostra um leão exibindo seu perfil direito, em atitude heráldica “couchant”, habilidosamente inscrito no contorno da América do Sul. Um autêntico achado geométrico. É uma imagem evocativa de um Brasil grande e forte, estendendo seu olhar sobre o Atlântico sul.

É uma imagem que resume as aspirações da nação quando eu era jovem. É também uma imagem austera, que se pretende heráldica ao invés de fruto de design; vai contra o pós modernismo vigente, mas aqui no blog essa é exatamente a ideia.

Este blog existe por causa desta imagem; foi olhando para ela em pensamento profundo que me inspirei. “A voz do leão”, para tentar falar de tecnologia e ciência para a lusofonia, com um ‘modicum’ de profundidade – sem dar muita bola para o estilo superficial preferido nas redes sociais — como as pessoas fazem nos centros avançados do mundo. O Brasil é o Leão.

Eu quis fazer variações para poder usar a imagem em outros contextos que exijam um ‘look’ mais contemporâneo — com resultados medianamente animadores. Lancei mão da Stable Diffusion e, abusando da engenharia de prompt, passei algumas horas agradáveis tentando fazer arte. Aproveitei para usar o gadget ‘galeria de slides’ do WordPress pela primeira vez.


Não sei se verei esse Brasil grande, que faz tecnologia, que lança foguetes e satélites e junta à elite material do mundo. Se depender da classe política que aí está eu duvido muito que cheguemos lá. Foi sob a batuta do Ministro da Tecnologia, um aviador e astronauta formado por um instituto de tecnologia, que eu testemunhei o maior [talvez o único] desmonte deliberado de políticas tecnológicas do estado brasileiro em toda história [a começar do programa espacial, que se encontra desativado desde 2003].

Que o Brasil possa se reencontrar a partir das eleições de amanhã. Boa sorte a todos.

Stable Confusion: Algo Sobre o Photoshop

Quando você cria algo no Photoshop é provável que você nunca tenha pensado muito sobre a origem das cores digitais que você usa. Igualmente, talvez você nunca tenha se perguntado se alguém pode “possuir” uma determinada cor.

pantone
Imagem: Pexels.com

Mas muitos usuários logo vão começar a dar atenção a essas coisas, pois suas coleções de arquivos PSD está prestes a ficar cheias de tons de cinza esquisitos, devido a mudanças de licenciamento entre a Adobe e a Pantone.

A partir de agora, aplicativos populares da Adobe, como Photoshop, Illustrator e InDesign, não vão mais suportar gratuitamente as cores da Pantone, e aqueles usuários que precisam que essas cores apareçam em seus arquivos já salvos precisarão pagar por uma licença separada. Bem vindo ao mundo do software proprietário.

A remoção das cores da Pantone do software da Adobe deveria ter acontecido em 31 de março deste ano, mas essa data chegou, passou e nada aconteceu. A data foi mudada para 16 de agosto, e depois 31 de agosto. No entanto, apenas agora as pessoas estão percebendo os efeitos da decisão, relatando problemas com criações que usam as cores exatas da Pantone. A solução oferecidoa é um plug-in da Adobe para “minimizar a interrupção do fluxo de trabalho e fornecer as bibliotecas atualizadas aos usuários da Adobe Creative Cloud”. O que, é claro, custa US$ 15 por mês. É como a Netflix, só que para colorir!

No entanto, a Pantone ainda afirma – em seu FAQ desatualizado – que “Esta atualização terá um impacto mínimo no fluxo de trabalho do designer. Arquivos e documentos da Creative Cloud contendo referências de cores Pantone manterão as identidades e informações de cores”. Muitos usuários relatam que seu Photoshop agora informa: “Este arquivo tem cores Pantone que foram removidas e substituídas por preto devido a alterações no licenciamento da Pantone com a Adobe”. Outros relataram que o problema não está sendo resolvido mesmo anexando uma licença Pantone no Photoshop.”

Uma dica sugerida pela Print Week é fazer backup de suas bibliotecas Pantone e reimportá-las quando o software Adobe atualizar para removê-las. “Há uma boa chance de que isso funcione, já que as cores do Pantone são armazenadas como arquivos .ACB, assim como todas as cores do Photoshop.”

“Ou, sabe como é, você pode simplesmente copiar os valores de metadados do intervalo Pantone.”

O Fantasma na Máquina Inteligente

O mundo moderno usa o termo “robô” para se referir a dispositivos eletromecânicos que executam trabalhos anteriormente realizados por humanos; a origem do termo é a palavra checa robotnik.

Imagem: Pexels

Segundo o site etymonline.com robotnik significa, “pessoa mecânica”; também “pessoa cujo trabalho ou atividades são inteiramente mecânicos”, da tradução inglesa da peça “R.U.R.” de 1920 (“Robôs Universais da Rossum”) de Karel Capek (1890-1938); “trabalhador forçado”, de robota “trabalho forçado, serviço obrigatório, labuta”.

Há um certo consenso acadêmico de que a abolição do trabalho servil foi o que deu início à mecanização; que o principal efeito da emancipação do campesinato foi possibilitar a industrialização da lavoura: “Os grandes latifúndios, livres do servo ineficiente, poderiam ser conduzidos de forma mais econômica. Os arados a vapor da Hungria, uma característica marcante do final do século XIX na Europa continental, foram o resultado da emancipação camponesa”[0].

E essas inovações eram todas subprodutos do mesmo frenesi de criatividade. Em 1745 de Vaucanson inventou, entre outras coisas, o primeiro tear automatizado: um desenvolvimento que mais tarde desempenharia um papel crucial na mecanização das formas de trabalho que antes eram exclusivas de humanos.

Trabalho, trabalho e trabalho

E o que deveria nos preocupar é menos se as máquinas se tornarão sencientes, mas quais serão os efeitos de uma mecanização cada vez maior sobre os humanos.

Marx [é impossível falar de trabalho sem citar Marx, sorry] observa em O Capital (1867) que “A história não revela nenhuma tragédia mais horrível do que a extinção gradual dos tecelões artesanais ingleses”. No mesmo espírito, para termos um vislumbre do que os avanços na robótica humanoide prometem para nossas vidas, considere “Quinn“.

Quinn é um conceito [ainda primitivo] de um robô de atendimento ao cliente: em vez de pagar salários a vários humanos, um hoteleiro, por exemplo, pode instalar um Quinn nos balcões de toda sua cadeia, supervisionado por apenas um par de operadores remotos, capazes de intervir se uma consulta se tornar muito complexa para a máquina.

Mais abaixo na escala, as onipresentes máquinas de self-checkout são efetivamente dispositivos como o Quinn, só que mais insuspeitos, que transferem o fardo de fazer sentido para o cliente e a solução dos problemas operacionais para uma equipe de supervisores. E esse deslocamento da habilidade e da inteligência humana, por sua vez, reorganiza o trabalho humano para atender as prioridades da máquina.

Marx [sorry, again] descreveu a maneira como as linhas de montagem das fábricas obrigavam os trabalhadores humanos a adaptar seus movimentos, velocidade de trabalho e comportamento às demandas da máquina, em vez de empregar as ferramentas de trabalho de acordo com um padrão de movimento humano. O mesmo vale para todas as ondas de automação subsequentes, incluindo a atual.

O Turco Mecânico

Em 1770, a Imperatriz Habsburgo Maria Teresa e sua corte ficaram maravilhados com um verdadeiro prodígio da engenharia moderna: uma máquina humanoide capaz de derrotar um oponente humano no xadrez.

O dispositivo consistia em uma figura em tamanho natural, vestida no estilo “oriental” e sentada em frente a um tabuleiro de xadrez. Quando derrotou vários adversários na corte, foi uma sensação: amplamente conhecido como o “Turco Mecânico”, percorreu a França, a Grã-Bretanha e os Estados Unidos, durante os quais disputou muitos jogos, inclusive contra Napoleão e Benjamin Franklin.

O Turco Mecânico – Imagem: Domínio Público

O único problema: o Turco Mecânico era falso. Embora a complexidade da farsa fosse em si um feito de engenharia notável, a inteligência do jogo de xadrez era fornecida por um humano habilmente escondido dentro da “máquina”.

No século 21, o Turco Mecânico dá nome a uma plataforma online [“Mechanical Turk” ] cujo produto é tornar o trabalho repetitivo e monótono de rotulação de dados no treinamento de sistemas inteligentes acessível para qualquer pequeno negócio, através da terceirização da atividade para trabalhadores remotos, que recebem tão pouco quanto US$ 0,97 por hora. Cortesia da Amazon.

Encontramos muitos desses “fantasmas humanos na Máquina Inteligente”: por exemplo, os trabalhadores de atendimento da Amazon, ‘otimizados’ pela vigilância algorítmica até o ponto de ruptura (e fazendo xixi em garrafas, como se tornou notório); ou os moderadores de conteúdo das redes sociais, se virando na gig-economy e lutando com o trauma provocado pelas coisas horríveis com as quais eles lidam em seu trabalho.

E existem até mesmo humanos, escondidos na IA tão desconfortavelmente quanto o operador oculto do Turco Mecânico, cujo papel é compensar o deficit na “inteligência” muda das máquinas. Veja, por exemplo, as pessoas contratadas para se passar por chatbots em empresas que querem parecer ultrassofisticadas.

Quero falar com um humano

A convergência entre humano e máquina, por sua vez, torna a humanidade real um luxo. Assim como a tecelagem mecânica tornou os tecidos baratos, os tecidos feitos à mão agora são extremamente caros – assim como qualquer coisa criada à mão com habilidade artesanal genuína. Da mesma forma, como o setor de hospitalidade se automatizou e despersonalizou durante a epidemia da Covid, as viagens “sem contato” tornaram o contato humano um extra premium – porque o que as pessoas realmente querem é conversar com um humano. Um canal da indústria hoteleira descreve a assistência humana hoje como um diferencial, “a marca registrada de uma viagem de luxo”.

Portanto, não importa se existem autômatos capazes de reproduzir fielmente o aspecto humano. Os que são lançados na economia de escala não se preocupam em buscar a verossimilhança, e são estes os que estão a transformar mais radicalmente nossas vidas.

Enquanto nos maravilhamos (ou estremecemos) com os simulacros quase perfeitos que chegam quase a convencer [ver uncanny valley] e toleramos entorpecidos os que não convencem, cada avanço na robótica reordena outra onda de trabalho humano às prioridades da máquina. E cada vez que o fazem, outra faceta do calor humano, inteligência e habilidade torna-se um extra premium, para os poucos sortudos.

Penso, logo existo

E o que deveria nos preocupar é menos se as máquinas se tornarão sencientes, mas quais serão os efeitos de uma mecanização cada vez maior sobre os humanos.

O avô do argumento de que a senciência humana é gerada a partir de processos fundamentalmente diferentes dos algorítmicos, ou mesmo de qualquer física atualmente compreendida, é nosso mais eminente matemático/físico e vencedor do Prêmio Nobel, Sir Roger Penrose. Noto aqui que os contra-argumentos penrosianos exigem um mergulho nos teoremas da incompletude de Gödel e na natureza do Problema da Parada na computação.

E nesta área não há lugar melhor para se pesquisar do que nos livros sedutoramente bem escritos de Roger Penrose, ‘The Emperor’s New Mind’ e ‘Shadows of the Mind’. Em resumo, Penrose implica uma distinção entre consciência e inteligência. Ele afirma que a consciência não é algoritmicamente explicável — embora ele não se refira propriamente à ‘inteligência’ neste contexto.

Pessoalmente falando, pensei por décadas que a senciência humana sempre seria inatingível pela inteligência de máquina gerada por algoritmos, mas não tenho mais certezas a esse respeito. Não acho que tenhamos uma maneira real de distinguir entre a inteligência humana e a inteligência da máquina e, por extensão, não temos como afirmar que a inteligência da máquina não exibirá algumas características da senciência. .

Chomsky argumentou que os humanos nascem com um senso inerente às estruturas da linguagem. E se isso for verdade, que implicações isso tem para a capacidade das máquinas de replicar habilidades linguísticas? E como os humanos diferem das máquinas nesse aspecto? O maior problema que temos é aquele com o qual Wittgenstein também lutou – o uso e as limitações da linguagem. Como saberemos se estamos todos discutindo o mesmo assunto?


[0] – The Habsburg Monarchy 1809–1918 – AJP Taylor

Não Tenha Pena da Wikipédia

A onipresente Wikipedia, nossa enciclopédia on-line sem fins lucrativos, está mais uma vez com a caneca na mão, a pedir aos seus leitores que doem qualquer quantia. Você provavelmente já viu um de seus banners no topo alguma página.

Imagem: Vox Leone

Sabemos que a independência financeira da WMF [Wikimedia Foundation – uma organização sem fins lucrativos com sede em São Francisco] claramente não está em risco. Então, o que está acontecendo? Uma resposta possível é que a WMF acha que ter dinheiro sobrando nunca é demais – claro, para a eventualidade de um dia chuvoso.

Equidade de Conhecimento

A WMF no entanto alega que tem altos planos globais para “tornar-se a infraestrutura essencial do ecossistema do conhecimento livre” até 2030. Ela diz que quer criar “equidade de conhecimento” – um mundo onde as pessoas em todos os lugares terão tanto acesso à informação em sua própria língua quanto os cidadãos do primeiro mundo – e que isso exigirá aumentos orçamentários contínuos. A certeza é que nesse tipo de empreitada ela sabe que pode contar com uma torneira de dinheiro sempre à disposição na Wikipedia – construída pelo trabalho de voluntários – que pode abrir quando quiser.

E, assim, as pessoas em países pobres como a Índia, ou em países atingidos pela pandemia, como Argentina e Uruguai, muitas das quais hoje temem pela estabilidade de suas vidas, pela vida de seus entes queridos e por seus meios de subsistência, são informadas, através de enormes banners vermelhos, de que a WMF precisa muito de uma doação deles hoje, para proteger a independência da Wikipedia

Banner (este exibido para os leitores da Índia) – Imagem: Wikimedia Commons

No banner acima lê-se:

Olá leitor da Índia. Parece que você usa muito a Wikipedia, e isso é ótimo! Este é o segundo apelo que nós exibimos para você. É embaraçoso, mas neste domingo nós precisamos de sua ajuda. Nós não temos pessoal de vendas. Dependemos de doações de leitores excepcionais, mas menos de 2% doa. Se você doar apenas 150 rúpias, ou qualquer coisa que puder neste domingo, a Wikipedia pode continuar a prosperar. Obrigado.

Esses banners se tornaram muito lucrativos para a Wikimedia Foundation. Todos os anos, a ONG adiciona dezenas de milhões de dólares ao seu “baú de guerra”. Após uma década de angariação de fundos em escala profissional, a fundação já havia acumulado US$ 400 milhões até março de 2022. A Wikimedia criou ainda um outro fundo, administrado pela Tides Foundation, que agora tem em caixa bem mais de US$ 100 milhões. No início a Fundação queria atingir esse número em um prazo de dez anos, mas veio a descobrir que havia superado a meta em apenas cinco. Em 2021, foram arrecadados US$ 162 milhões em recursos, um aumento de 50% em relação ao ano anterior. No entanto, os custos de funcionamento da Wikipédia propriamente representam uma pequena fração do valor total arrecadado pela Fundação Wikimedia a cada ano.


Eu já doei à Wikipedia movido em parte pelo coração mole mas também por puro idealismo, até começar a questionar mais profundamente. Será que a flagrante patrulha mental da Wikipedia contra acadêmicos e políticos dissidentes — “que pensam errado”, bem como os tantos episódios de falsificação deliberada da história, merecem algum apoio? Eu vejo claramente como a Wikipedia pode ser um alvo fácil para extremistas abrigados como “editores”.

É uma pena que tantas contribuições feitas por especialistas genuínos sejam perdidas pela recusa da Wikipedia em disciplinar seus editores rebeldes [ou talvez isso seja proposital e não uma falha do sistema]. Dito isso, eu entendo a necessidade de filtrar algumas coisas – mesmo a academia, cientistas e historiadores agora confessam que estão adaptando sua produção para não ferir susceptibilidades.

O que eu acho

Minha opinião pessoal é que as pessoas que valorizam a liberdade de expressão e a imparcialidade têm que manter um olhar crítico sobre a Wikipédia. Jimmy Wales no início pareceu ter ideais nobres para o site. Ele evitou a comercialização do site e assim abriu mão de uma receita potencial de dezenas de bilhões de dólares. A reserva de US$ 400 milhões é pouco em comparação com o que a Wikipedia poderia valer no mercado aberto. Mas Wales permitiu que o site fosse comprometido em sua imparcialidade; não por dinheiro, mas por ideologia política.

Wales fica facilmente irritado com com as críticas ao patente viés esquerdista da Wikipedia. Mas quando o site permite que veículos reconhecidamente partidários, como o New York Times, MSNBC, CNN, NPR, sejam usados como fontes autorizadas para confirmar fatos, mas não a Fox News ou o New York Post, o viés é óbvio [noto aqui que não faço juízo de valor nem tenho preferência por nenhum dos meios citados]. Veículos como Wikipedia e BBC, que estão livres de pressões comerciais, estão em uma posição única, e poderiam ser uma verdadeira força para o bem se moderassem as posições extremistas tanto da esquerda quanto da direita, fornecendo uma apresentação equilibrada dos fatos.

Convocar os usuários para “defender a independência da Wikipédia” está muito longe da voz monolítica e onisciente da razão que os leitores de longa data da Wiki esperam ouvir. Ter um cafofo para um dia de chuva é uma coisa. O desnecessário desvio de finalidade é outra.

Se a “equidade do conhecimento” é realmente o que eles almejam, a monetização convencional da plataforma provavelmente não é a maneira de fazê-lo. Nada é mais cruel do que um paywall onde, antes, havia uma riqueza inesgotável de informação, disponível para acessar livremente.