Não peça a verdade à IA, forneça as evidências

Por que você deveria repensar a forma como usa modelos de linguagem

Você já deve ter visto ao menos um dos vídeos que estão circulando em que alguém "testa" o Deepseek fazendo-lhe alguma pergunta factual isolada e então crava um veredito sobre a qualidade do LLM chinês. Será que esse é o jeito mais apropriado para se avaliar um modelo de inteligência artificial generativa?

Pense num julgamento. Desses de filme, com um caso complicado, um réu que jura inocência e um júri composto por 12 cidadãos. O júri reúne pessoas com diferentes experiências e formações: o professor que percebe contradições sutis nos depoimentos, a contadora que identifica inconsistências nos números, o psicólogo que nota padrões de comportamento reveladores. Cada perspectiva única contribui para uma análise mais completa das evidências apresentadas.

Mas agora, imagine que, em vez de apresentar provas, tanto o promotor quanto o advogado de defesa tentam convencer o júri usando apenas retórica e persuasão. Como cobrar do júri um veredito acertado nessas condições?

Pois é assim que muita gente está usando LLMs hoje — como se fossem oráculos capazes de produzir verdades absolutas do nada. Quando fazemos isso, delegamos a responsabilidade pela qualidade da informação às empresas que desenvolvem esses modelos, esperando que elas, de forma sobrenatural, tenham embutido toda a verdade do universo em seus parâmetros. No uso doméstico e recreativo, tudo certo. Mas quando avançamos para um uso profissional, isso me parece, no mínimo... perigoso pra caramba.

Quer ver mágica?

Os modelos de linguagem funcionam como um júri capaz de analisar, conectar e extrair insights das evidências que nós apresentamos. Eles conseguem processar volumes imensos de informação, identificar padrões e sugerir conexões surpreendentes — mas precisam de fontes confiáveis para trabalhar.

Então vamos lá: alimente um LLM com material de qualidade — artigos científicos, dados verificados, documentação técnica de verdade. Depois, invista um tempo aprendendo como escrever bons prompts, então comece um papo exploratório com ela e... bum! O negócio muda completamente de figura. Em vez de só repetir fatos como um papagaio digital, o sistema te ajuda a fazer conexões que você nem tinha imaginado, traz perspectivas que te fazem coçar a cabeça e expande sua visão sobre o assunto.

É como ter um amigão insone, superintelectual e com uma paciência infinita pro caminhão de coisas sobre as quais você não sabe muito, mas tem interesse. Mas de novo: não estamos no Show do Milhão tentando chutar a alternativa correta. Só vai dar certo se fornecermos "boas provas".

Pro trabalho ficar bom, dá trabalho (ou: O preço da qualidade)

Os LLMs são melhores do que nós em todas as coisas que não sabemos fazer direito. Se preciso criar uma fórmula pro Excel, o ChatGPT se mostrará infinitamente mais competente do que eu, sem dúvida. Mas em atividades em que você tem algum repertório, essas IAs (ainda) patinam. Mas isso não quer dizer que elas não sejam úteis — e muito.

No meu uso diário, a maior vantagem que sinto usando LLMs não tem muito a ver com ganhar tempo — mas sim com ganhar perspectiva. Se eu escrever uma ideia (ou um texto, ou um roteiro) da forma como está na minha cabeça, a coisa sai relativamente rápido. Quando estou duplando com uma IA, costuma levar bem mais tempo, já que acabo pegando várias tangentes no meio do caminho, explorando novas ideias, cogitando cenários e contextos que normalmente passariam despercebidos. Em outras palavras, demora mas enriquece o resultado.

Então, na próxima vez que você se deparar com um vídeo comparando modelos de linguagem através de perguntas soltas, lembre-se que LLMs não são oráculos misteriosos, mas sim analistas excepcionais que, munidos de evidências sólidas e boas instruções, nos ajudam a chegar a conclusões mais profundas e bem fundamentadas.

E isso, sim, vale a pena ser testado.