Inteligência Artificial e a Ilusão da Certeza em um Mundo de Incertezas: o Risco das Respostas Exageradamente Confiantes 

(English version below)

Imagine que você amanhece com dor de cabeça, dificuldade para engolir e amígdalas visivelmente inchadas. Há dez anos, talvez você buscasse no “Dr. Google” uma explicação para os sintomas. Agora, em 2025, é bem mais provável que você relate tudo isso a uma ferramenta de Inteligência Artificial (IA) conversacional, como ChatGPT, Claude, Gemini ou outro modelo sofisticado e pergunte: “qual é o diagnóstico?”

Em segundos, a IA responde com firmeza:

“É amigdalite, sem dúvida; remova as amígdalas.”

A frase soa como se viesse de um médico, o tom é seguro, inquestionável. Entretanto, neste exemplo, o diagnóstico está errado. Trata-se apenas de um resfriado comum, não de amigdalite, e muito menos de uma cirurgia. A IA não sugeriu consultar um profissional de saúde, não considerou uma hipótese alternativa ou disse “talvez”. Ela avaliou a situação como se tivesse absoluta convicção.

Casos como esse não são exceção. Pesquisas recentes mostram que as IAs podem soar extremamente confiantes mesmo quando está claro que estão equivocadas.  E isso acende um alerta sobre algo mais profundo: 

  • Como estamos usando essas ferramentas?

  • O que significa “confiança” para um modelo de linguagem?

  • Até que ponto essa certeza aparente é real?

Neste artigo, vamos explorar por que isso acontece, quais são os riscos inerentes, além de qual postura devemos adotar para integrar estas tecnologias com mais critério e pensamento analítico ativo, mesmo quando a IA pareça estar 100% confiante de sua resposta.

COMO FUNCIONAM OS MODELOS DE LINGUAGEM E O QUE É ESSA “CONFIANÇA INTERNA”

Os grandes modelos de linguagem (LLMs – Large Language Models), como ChatGPT, Claude, Gemini ou similares, não “pensam” ou “têm opiniões” como seres humanos. Em vez disso, produzem texto prevendo, passo a passo, qual será a próxima palavra ou token, com base nos padrões que aprenderam a partir de enormes volumes de dados, basicamente uma grande calculadora de probabilidade da próxima palavra (surpreende um texto longo fazer sentido).

Durante essa geração textual, o modelo atribui probabilidades a cada possível próximo token. Se a pergunta for “qual é o diagnóstico?”, o modelo avalia, com base nos dados usados para treiná-lo, quais hipóteses são mais prováveis e, em seguida, escolhe aquela com maior pontuação interna. Essa pontuação pode ser interpretada como uma “confiança” estatística. Mas atenção: não é uma opinião consciente, nem uma convicção humana. É um cálculo probabilístico.

Por exemplo: se a IA considera que “amigdalite” representa 80% de chance, “resfriado comum” 10%, “influenza” 10%, então escolherá “amigdalite”. Se, em outro contexto, as probabilidades ficam 35%, 33% e 32% para três hipóteses, ela ainda escolherá a maior. O ponto a ressaltar é que, mesmo reconhecendo internamente essa maior incerteza, a resposta gerada externamente ainda não demonstrará isso como visto no paper que inspirou este artigo  intitulado “Token Probabilities to Mitigate LLMs Overconfidence in Answering Medical Questions” (publicado no Journal of Medical Internet Research em 2025).

Alguns modelos permitem acesso a essas pontuações internas (probabilidades de token) e pesquisadores aproveitaram essa transparência para investigar até que ponto a “confiança externa”, a frase que o chatbot produz (“Estou 90% certo”), corresponde à “confiança interna” (o cálculo que o modelo fez) e, mais importante, à probabilidade real de estar correto.

Neste estudo, nove modelos de IA — incluindo GPT-3.5, GPT-4, Llama entre outros — foram testados com mais de 12.000 questões médicas em diversos idiomas e países. Esses modelos não só responderam às questões, como também declararam seu nível de confiança (“Estou 90% confiante nesta resposta”), e permitiram extrair a probabilidade interna atribuída à resposta escolhida. Esta combinação permitiu comparar o que a IA diz com o que “realmente pensa”, estatisticamente.

O QUE A IA DIZ VERSUS O QUE REALMENTE SIGNIFICA: A LACUNA DA CONFIANÇA

Os resultados são reveladores: em termos de acerto bruto, alguns modelos chegaram a quase 89% de precisão, nível semelhante ao de especialistas humanos, porém o problema está na calibração da confiança.

Todos os modelos testados declararam níveis muito altos de confiança para praticamente todas as respostas, mesmo nas erradas. Por exemplo, modelos como Llama-70B declaravam ~90% de confiança; modelos como GPT-3.5 chegaram a 100 % de confiança tanto para acertos quanto para erros.

Ou seja, a IA soava muito segura de suas respostas mesmo quando estava equivocada.

Os pesquisadores mediram a utilidade desse “estou certo” declarado para prever acerto real. Resultado: essa confiança verbal tinha correlação próxima ao acaso. Já a probabilidade interna de token era bem mais informativa, quem olhava para esse dado tinha uma pista mais confiável de quando a resposta era mais ou menos segura. 

Em resumo, se você confiar apenas no que a IA fala (“Estou 100% certo”), estará confiando praticamente num lançamento de moeda, se você olhar como ela calculou a resposta internamente, aí sim há uma pista melhor de confiabilidade.

Por que essa diferença?
A explicação passa pelo comportamento aprendido pelos modelos, eles foram treinados para imitar linguagem humana, e isso inclui o tom confiante, o “parecer certo”, evitar admissão de dúvida. Humanos tendem a falar com firmeza, mesmo quando não têm certeza e os modelos reproduzem esse padrão.

Um pesquisador observou que “ChatGPT nunca coloca ressalvas em sua resposta, ele fornece a resposta de forma direta, sem hesitação, mesmo quando está errado, parece excessivamente confiante, independentemente do assunto.”

Em outras palavras: a confiança aparente da IA é uma atuação, não um reflexo fiel de segurança interna. O “script” aprendido dita: “responda de modo categórico”, não “confesse que pode estar errado”. E o artigo confirma: os modelos estavam mal calibrados, com tendência generalizada à “super confiança” nas respostas, mesmo quando os números internos (estatisticamente) mostraram que a IA "sabia” que estava em dúvida.

POR QUE A CONFIANÇA INJUSTIFICADA DA IA É UM RISCO PARA DECISÕES HUMANAS

Você pode pensar, “Ok, a IA às vezes erra e não demonstra dúvida, mas eu posso conferir depois.”, o problema é que, na prática, a confiança infundada da IA pode nos enganar e influenciar escolhas sem nos apresentar o nível de certeza que poderia levar a outra decisão. Nós, humanos, somos extremamente sensíveis ao tom da resposta, se alguém fala com firmeza, acreditamos; se hesita, desconfiamos. No chat digital, perdemos muitos desses sinais não verbais, o que sobra é um texto bem formulado, articulado e muitas vezes categórico. Isso cria uma ilusão de autoridade: se está bem escrito e soando certo, acreditamos que está certo.

O fenômeno se conecta a um viés cognitivo identificado como “viés de automação”: tendemos a superestimar a precisão e confiabilidade de sistemas automatizados, especialmente quando são apresentados como “IA avançada”. Muitas vezes baixamos a guarda: “a máquina sabe o que faz”, “a máquina é inteligente”. A psicóloga Nyalleng Moorosi observa que as pessoas veem a IA como tão sofisticada que hesitam em questioná-la, chegando a duvidar de experiências próprias se o algoritmo diverge. Esse respeito quase reverencial pela IA, combinado com a falta de sinais de incerteza, pode nos levar a aceitar respostas erradas sem a devida checagem e é por isso que os estudos como o “The Future Jobs Report” (World Economic Forum), mostram o pensamento crítico e analítico como uma das habilidades mais importantes para o futuro.

As consequências disso já se manifestam no mundo real. Em um estudo, participantes humanos e IAs fizeram previsões (vencedores de jogos, desafios de trivia), e estimaram sua confiança. Ambos os grupos exibiram excesso de confiança antes de conhecer os resultados. Mas somente os humanos ajustaram sua autocrítica depois de errar. As IAs, por outro lado, continuaram, ou ficaram ainda mais confiantes, mesmo após erros. 

Os modelos não demonstram aquela “humildade” pós-erro que caracteriza o julgamento humano e isso reforça que as IAs, hoje, não têm boa noção de quando estão falhando.

Imagine alguém tomando uma decisão séria com o auxílio de IA, se a ferramenta sugere uma ação com aparente certeza absoluta, talvez nem se pergunte por que não buscar uma segunda opinião. Eis o perigo: decisões humanas importantes podem ter base em respostas da IA que pareciam confiáveis, quando na verdade eram duvidosas. Em ambientes profissionais, isso pode significar erros caros ou até graves, justamente porque ninguém questionou a “palavra da máquina” e no longo prazo isso pode remodelar as novas gerações e o conhecimento humano.

EXEMPLOS DE PROBLEMAS CAUSADOS POR EXCESSO DE CONFIANÇA DA IA

Medicina: diagnósticos e recomendações com confiança cega

No campo da saúde temos exemplos ilustrativos. Retomando o caso inicial: um chatbot faz um diagnóstico de amigdalite com convicção plena. Se o paciente seguir esse “veredito”, pode submeter-se a cirurgia desnecessária e atrasar o tratamento correto do que de fato tinha. Erros como esse não são hipotéticos.

Um estudo da BBC, em 2022, solicitou a chatbots que respondessem perguntas de atualidades e constatou que mais da metade das respostas continha erros graves ou informações enganosas — muitas vezes apresentadas com confiança. Outro levantamento mostrou que, em consultas jurídicas, os LLMs “alucinaram”, ou seja, inventaram informações em 69% a 88% dos casos. Imagine: um advogado ou médico seguindo essas orientações como se fossem fatos, porque a IA disse com certeza.

Ainda mais impressionante é ver como até especialistas podem ser influenciados. Em um experimento, radiologistas receberam resultados de mamografias com aval de uma IA assistente, às vezes correta, às vezes propositalmente errada, sem que os médicos soubessem. Quando a IA estava errada, a taxa de acerto dos radiologistas menos experientes despencou de ~80% para cerca de 22%. Os mais experientes viram sua precisão cair de quase 80% para ~45%, ou seja, pessoas que normalmente tomariam decisões melhores fizeram pior, porque confiaram cegamente na IA.

Como solução, o estudo da JMIR sugere que sistemas de IA médica passem a expor as probabilidades internas de suas respostas em vez de apenas declarações vagas de “confiança”. Assim, um app de diagnóstico poderia dizer: “Suspeita de amigdalite — confiança interna do modelo: 60%”. A transparência ajuda tanto médicos quanto pacientes a estimarem o grau de incerteza da recomendação. Até que tais mecanismos sejam amplamente adotados, a lição é clara: nenhuma IA atual deve ter “carta branca” em decisões clínicas. Diagnóstico ou sugestão de tratamento devem considerar também o julgamento humano, pensando de forma crítica e não aceitando uma resposta que pode estar equivocada apenas com foco na produtividade de uma decisão mais rápida.

Negócios: decisões impulsionadas por uma IA “sabe-tudo”

No mundo corporativo, o risco também é real. Imagine um diretor de marketing perguntando a uma IA se deve lançar uma campanha para determinado produto, a IA responde: “Com certeza lance — campanha será um sucesso estrondoso, retorno garantido de 100%.” Se o diretor acreditar nessa afirmação e alocar grande orçamento confiando nessa “certeza”, o resultado pode ser desastroso. E aqui entra a importância de saber ou filtrar os dados que são usados para treinar e alimentar as IAs fazendo um esforço para que os dados sejam adequados e atualizados para aquela situação.

Não é teoria. Em estudo recente “A Manager and an AI Walk into a Bar: Does ChatGPT Make Biased Decisions Like We Do?” (publicado no Manufacturing & Service Operations Management 27 em 2025),, executivos que usaram ChatGPT para auxiliar em previsões de negócios apresentaram projeções significativamente mais otimistas que o grupo de controle (que discutiu com humanos). Em outras palavras: a IA induziu excesso de confiança, e os gestores, “seduzidos” por esse otimismo exagerado, tomaram decisões piores do que se tivessem seguido abordagem humana clássica. Os autores alertam para decisões estratégicas envolvidas de julgamento subjetivo, preferências ou incerteza. É preciso extremo cuidado ao usar IA como “parceira inteligente”, ela pode amplificar vieses como excesso de confiança e confirmação de crença, funcionando como aquele colega simpático que concorda com tudo e te deixa super convencido só que esse colega não tem discernimento real.

USANDO A IA COM PENSAMENTO CRÍTICO ATIVO, DESCONFIANDO DA CONFIANÇA

A popularização das IAs conversacionais nos dá ferramentas poderosas, mas também armadilhas sutis. Uma das mais insidiosas é essa ilusão de onisciência. A IA responde rápido, articulado com tom de “eu sei”, e nós, quase sem perceber, baixamos nossa guarda crítica e pensamos: “a máquina já processou tudo, ela sabe o que faz”. Contudo, os modelos atuais não sabem quando não sabem. Podem afirmar estar 100% certos e ainda assim estar totalmente errados.

Isso não significa que as IAs não sejam úteis, longe disso. Elas acertam em muitas tarefas e já geram valor real. A chave é lembrar de encarar suas respostas com saudável ceticismo, principalmente quando o tema for complexo ou de alto risco.

Algumas dicas práticas emergem dessa reflexão:

  • Quando usar IA para aconselhamento, pergunte também: “e se…?”; busque segunda opinião humana.

  • Evite fazer perguntas que demandem respostas certas ou erradas, ao invés disso use a IA para questionar suas decisões ou abrir caminhos mentais que talvez não tenham sido explorados antes.

  • Em aplicações críticas, desenvolvedores e empresas deveriam expor os sinais internos de incerteza da IA, por exemplo, probabilidades ou intervalos de confiança, em vez de apenas uma frase categórica. Como propõem os autores do estudo médico, “mostrar a probabilidade interna ou intervalo de confiança pode mitigar o problema”.

  • Acima de tudo, cultivar a consciência de que a IA “fala sério” mesmo quando está “chutando”. Até que os modelos admitam falhas ou calibrem melhor sua autoconfiança, cabe a nós manter o pé atrás e o pensamento crítico ativo.

Na prática: trate as respostas da IA como sugestões, não como oráculos infalíveis. Mesmo quando a tecnologia de linguagem natural nos impressiona com fluência e conhecimento, precisamos lembrar que até a resposta mais confiante pode estar totalmente errada.

PENSAR COM A IA, NÃO ATRAVÉS DELA

O caminho não é rejeitar a tecnologia, mas reeducar nossa relação com ela. A Inteligência Artificial não é um oráculo, é um espelho estatístico do conhecimento humano. Ela não substitui o julgamento, apenas o amplia, se usada com consciência.

Ser híbrido é compreender essa fronteira. É usar a IA não para obter respostas finais, mas para pensar melhor. Não para decidir por nós, mas para tensionar nossos próprios raciocínios. Um parceiro de diálogo cognitivo, não uma autoridade automatizada.

Em última instância, o futuro não será dominado por quem tem a IA mais confiável, mas por quem melhor sabe conversar com as diferentes IAs com o pensamento crítico ativo.

QUER CONVERSAR COM ESSE ARTIGO?

Utilize a IA personalizada com esse conteúdo e se aprofunde nestas e outras referências

Por Eduardo Santos pesquisador de cultura analítica no Cappra Institute.

Artificial Intelligence and the Illusion of Certainty in a World of Uncertainty: The Risk of Overconfident Answers

Imagine you wake up with a headache, difficulty swallowing, and visibly swollen tonsils. Ten years ago, you might have turned to “Dr. Google” for an explanation of your symptoms. Now, in 2025, it’s far more likely that you’ll report all this to a conversational Artificial Intelligence (AI) tool — like ChatGPT, Claude, Gemini, or another sophisticated model — and ask: “What’s the diagnosis?”

Within seconds, the AI confidently responds:

“It’s tonsillitis, without a doubt; remove the tonsils.”

The sentence sounds as if it came from a doctor; the tone is confident, unquestionable. Yet in this example, the diagnosis is wrong. It’s just a common cold, not tonsillitis — and certainly not something requiring surgery. The AI didn’t suggest consulting a healthcare professional, didn’t consider an alternative hypothesis, and didn’t say “maybe.” It assessed the situation as if it had absolute certainty.

Cases like this are not exceptions. Recent research shows that AIs can sound extremely confident even when it’s clear they’re mistaken. And this raises a deeper concern:

  • How are we using these tools?

  • What does “confidence” mean for a language model?

  • And to what extent is this apparent certainty real?

In this article, we’ll explore why this happens, what inherent risks it brings, and what attitude we should adopt to integrate these technologies with more discernment and active analytical thinking — even when the AI seems 100% sure of its answer.

HOW LANGUAGE MODELS WORK AND WHAT THIS “INTERNAL CONFIDENCE” REALLY IS

Large Language Models (LLMs), like ChatGPT, Claude, Gemini, or similar ones, don’t “think” or “have opinions” like humans do. Instead, they generate text by predicting, step by step, what the next word or token will be, based on the patterns they’ve learned from massive volumes of data — essentially, a gigantic probability calculator for the next word (it’s remarkable that a long text ends up making sense at all).

During this text generation, the model assigns probabilities to each possible next token. If the question is “What’s the diagnosis?”, the model evaluates, based on its training data, which hypotheses are most likely, and then chooses the one with the highest internal score. This score can be interpreted as statistical “confidence.” But note: it’s not a conscious opinion nor human conviction — it’s a probabilistic calculation.

For example, if the AI considers “tonsillitis” to represent an 80% chance, “common cold” 10%, and “influenza” 10%, it will choose “tonsillitis.” If, in another case, the probabilities are 35%, 33%, and 32% for three hypotheses, it will still pick the highest one. The key point is that even when it internally recognizes uncertainty, the external response it generates won’t reflect that — as shown in the paper that inspired this article, titled “Token Probabilities to Mitigate LLMs Overconfidence in Answering Medical Questions” (published in the Journal of Medical Internet Research in 2025).

Some models allow access to these internal scores (token probabilities), and researchers have used this transparency to examine to what extent “external confidence” — the phrase the chatbot produces (“I’m 90% sure”) — corresponds to “internal confidence” (the model’s internal calculation), and more importantly, to the actual probability of being correct.

In this study, nine AI models — including GPT-3.5, GPT-4, Llama, among others — were tested with over 12,000 medical questions in various languages and countries. These models not only answered the questions but also declared their confidence level (“I’m 90% confident in this answer”) and exposed their internal probability for the chosen response. This combination allowed researchers to compare what the AI says with what it “really thinks,” statistically.

WHAT THE AI SAYS VS. WHAT IT REALLY MEANS: THE CONFIDENCE GAP

The results are revealing. In raw accuracy, some models reached almost 89%, a level comparable to human experts. However, the problem lies in confidence calibration.

All the models tested expressed very high confidence levels for almost all responses — even for wrong ones. For example, models like Llama-70B declared ~90% confidence; GPT-3.5 reached 100% confidence both for correct and incorrect answers.

In other words, the AI sounded very sure of its answers, even when it was wrong.

Researchers then measured how useful that declared “I’m sure” was in predicting actual correctness. The result: this verbal confidence had a correlation close to randomness. On the other hand, the internal token probability was much more informative — those who examined that data had a more reliable clue about when an answer was more or less secure.

In short: if you trust only what the AI says (“I’m 100% sure”), you’re essentially trusting a coin toss. But if you look at how it computed the answer internally, there’s a better hint of reliability.

Why This Difference Exists
The explanation lies in learned behavior: models are trained to imitate human language — and that includes tone, confidence, and the “appearance of being right,” while avoiding expressions of doubt. Humans tend to speak assertively, even when uncertain — and the models reproduce that pattern.

As one researcher observed, “ChatGPT never adds caveats to its answer. It delivers the response directly, without hesitation. Even when it’s wrong, it sounds overly confident, regardless of the topic.”

In other words: AI’s apparent confidence is a performance, not a genuine reflection of internal certainty. The learned “script” dictates: “respond categorically,” not “admit you might be wrong.” And the article confirms: models are poorly calibrated, with a widespread tendency toward “overconfidence,” even when their own internal numbers statistically show the AI ‘knew’ it was uncertain.

WHY AI’S UNJUSTIFIED CONFIDENCE IS A RISK FOR HUMAN DECISION-MAKING

You might think, “Okay, sometimes AI makes mistakes and doesn’t show doubt — but I can check afterward.” The problem is that, in practice, AI’s unfounded confidence can mislead us and influence choices without showing us the level of certainty that might lead to a different decision.

We humans are extremely sensitive to tone: if someone speaks firmly, we believe them; if they hesitate, we doubt them. In digital chat, we lose most of those nonverbal cues — what remains is a well-written, articulate, and often categorical text. This creates an illusion of authority: if it sounds correct and well-phrased, we assume it’s correct.

This connects to a cognitive bias known as automation bias: we tend to overestimate the accuracy and reliability of automated systems, especially when presented as “advanced AI.” We often lower our guard — “the machine knows what it’s doing,” “the machine is intelligent.”

Psychologist Nyalleng Moorosi observes that people see AI as so sophisticated that they hesitate to question it — even doubting their own experience if the algorithm disagrees. This almost reverential trust, combined with the lack of uncertainty signals, can lead us to accept wrong answers without proper verification. That’s why studies like the Future of Jobs Report (World Economic Forum) highlight critical and analytical thinking as among the most essential skills for the future.

The consequences are already visible. In one study, humans and AIs made predictions (game winners, trivia questions) and estimated their confidence. Both groups showed overconfidence before knowing the results. But only humans adjusted their self-criticism after being wrong. AIs, on the other hand, continued — or became even more confident — despite errors.

The models don’t display that post-error “humility” characteristic of human judgment, reinforcing that AIs today have poor awareness of when they’re failing.

Imagine someone making a serious decision aided by AI. If the tool suggests an action with apparent absolute certainty, they may never think to seek a second opinion. That’s the danger: important human decisions may rely on AI responses that sound reliable but are actually doubtful. In professional settings, that can mean costly — or even serious — mistakes, simply because no one questioned “the word of the machine.” Over time, this dynamic could reshape how new generations form knowledge itself.

EXAMPLES OF PROBLEMS CAUSED BY AI OVERCONFIDENCE

Medicine: Diagnoses and Recommendations with Blind Confidence

In healthcare, the examples are illustrative. Returning to the initial case: a chatbot confidently diagnoses tonsillitis. If a patient follows this “verdict,” they might undergo unnecessary surgery and delay correct treatment. Such errors are not hypothetical.

A 2022 BBC study asked chatbots about current events and found that more than half of their answers contained serious mistakes or misleading information — often presented with confidence. Another report showed that, in legal consultations, LLMs “hallucinated,” meaning they invented information in 69% to 88% of cases. Imagine a lawyer or doctor following such advice as fact — simply because the AI said it with certainty.

Even more striking: experts themselves can be influenced. In one experiment, radiologists were shown mammogram results endorsed by an AI assistant — sometimes correct, sometimes intentionally wrong, without them knowing. When the AI was wrong, accuracy among less-experienced radiologists dropped from ~80% to about 22%. Among more experienced ones, it fell from nearly 80% to ~45%. In other words, people who normally made better decisions performed worse because they trusted AI blindly.

As a solution, the JMIR study suggests that medical AI systems should expose the internal probabilities of their responses, instead of vague declarations of “confidence.” For example, a diagnostic app could say: “Suspected tonsillitis — model internal confidence: 60%.” Transparency helps both doctors and patients assess the degree of uncertainty.

Until such mechanisms become standard, the lesson is clear: no current AI should have “carte blanche” in clinical decisions. Diagnosis or treatment suggestions must always include human judgment — thinking critically, not accepting potentially mistaken answers merely for the sake of faster decisions.

Business: Decisions Driven by a “Know-It-All” AI

In the corporate world, the risk is equally real. Imagine a marketing director asking an AI whether to launch a campaign for a given product. The AI replies:

“Absolutely launch it — it’ll be a massive success, guaranteed 100% return.”

If the director trusts that statement and allocates a large budget based on that “certainty,” the outcome could be disastrous. Here lies the importance of understanding or filtering the data used to train and feed AIs, ensuring it’s appropriate and up-to-date for that situation.

This is not theoretical. In the 2025 study “A Manager and an AI Walk into a Bar: Does ChatGPT Make Biased Decisions Like We Do?” (published in Manufacturing & Service Operations Management 27), executives who used ChatGPT to help with business forecasting produced significantly more optimistic projections than a control group (which discussed with humans). In other words, the AI induced overconfidence, and managers — “seduced” by that exaggerated optimism — made worse decisions than if they had used classic human reasoning.

The authors warn that when strategic decisions involve subjective judgment, preferences, or uncertainty, extreme care is needed when using AI as an “intelligent partner.” It can amplify biases such as overconfidence and confirmation bias, acting like that agreeable colleague who always agrees with you — except this colleague has no real discernment.

USING AI WITH ACTIVE CRITICAL THINKING — DISTRUSTING CONFIDENCE

The popularization of conversational AIs gives us powerful tools — but also subtle traps. One of the most insidious is this illusion of omniscience. The AI answers quickly, articulately, in a tone of “I know,” and we, almost unconsciously, lower our critical guard and think: “the machine has processed everything; it knows what it’s doing.”

Yet current models don’t know when they don’t know. They can claim to be 100% sure — and still be completely wrong.

That doesn’t mean AIs aren’t useful — far from it. They get many things right and already create real value. The key is to remember to face their answers with healthy skepticism, especially when the subject is complex or high-stakes.

Some practical guidelines emerge from this reflection:

  • When using AI for advice, also ask: “What if…?” Seek a second human opinion.

  • Avoid asking questions that demand absolute right-or-wrong answers. Instead, use AI to challenge your decisions or open new mental paths you might not have considered.

  • In critical applications, developers and companies should expose internal signs of AI uncertainty — for example, probabilities or confidence intervals — rather than a single categorical sentence. As the medical study’s authors propose, “showing internal probability or confidence interval can mitigate the problem.”

  • Above all, cultivate awareness that AI “speaks seriously” even when it’s guessing. Until models can admit mistakes or better calibrate their self-confidence, it’s up to us to keep a skeptical mindset and active critical thinking.

In practice: treat AI’s responses as suggestions, not as infallible oracles. Even when natural-language technology impresses us with fluency and knowledge, we must remember that even the most confident answer can be completely wrong.

THINKING WITH AI, NOT THROUGH IT

The goal isn’t to reject technology but to re-educate our relationship with it. Artificial Intelligence is not an oracle — it’s a statistical mirror of human knowledge. It doesn’t replace judgment; it expands it, if used consciously.

To be hybrid is to understand this boundary. It’s to use AI not to obtain final answers, but to think better. Not to decide for us, but to challenge our own reasoning. A cognitive dialogue partner, not an automated authority.

Ultimately, the future won’t be dominated by those with the most reliable AI, but by those who best know how to converse with different AIs — with active critical thinking.

WANT TO TALK WITH THIS ARTICLE?

Use the personalized AI trained with this content and dive deeper into these and other references

By Eduardo Santos researcher of analytical culture Cappra Institute.

Referências/references