Mathematics and AI: Truth, Uncertainty, and How Language Models Judge Their Confidence

🧠 Μαθηματικά, Τεχνητή Νοημοσύνη και Αλήθεια: Μπορούν οι Αλγόριθμοι να Εμπιστευτούν τον Εαυτό τους;

Εισαγωγή

Ζούμε σε μια εποχή όπου τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) — όπως τα σύγχρονα συστήματα τεχνητής νοημοσύνης — παράγουν απαντήσεις με εντυπωσιακή ευχέρεια. Όμως η ευχέρεια δεν είναι συνώνυμη με την αλήθεια.

Το μεγάλο ερώτημα είναι: μπορεί η τεχνητή νοημοσύνη να γνωρίζει πότε έχει δίκιο;

Η σχέση ανάμεσα στη μαθηματική ακρίβεια, την αβεβαιότητα και την τεχνητή νοημοσύνη αποκαλύπτει έναν κόσμο στατιστικών προτύπων, πιθανοτήτων και αυτοαξιολόγησης. Σε αυτό το άρθρο εξερευνούμε:

• Πώς «καταλαβαίνουν» τα LLM τι είναι αλήθεια
• Πώς εκτιμούν τη σιγουριά τους
• Γιατί η ανθρώπινη επίβλεψη παραμένει κρίσιμη
• Τι δείχνει η σύγχρονη έρευνα για την αβεβαιότητα στην ΤΝ
• Αν οι αλγόριθμοι μπορούν πραγματικά να συνοψίσουν τι πιστεύουν

1. Τι σημαίνει «αλήθεια» για ένα LLM;

Ένα Γλωσσικό Μοντέλο δεν «γνωρίζει» με την ανθρώπινη έννοια. Το κύριο έργο του είναι να προβλέπει την επόμενη λέξη με βάση στατιστικά μοτίβα από τεράστιες ποσότητες κειμένων.

👉 Αν ένα λάθος εμφανίζεται συχνά στο διαδίκτυο, υπάρχει πιθανότητα να το επαναλάβει.

Παράδειγμα:
Πολλοί πιστεύουν ότι η πρωτεύουσα της Αυστραλίας είναι το Σίδνεϊ. Ένα παλαιότερο μοντέλο θα μπορούσε να «μάθει» αυτό το λανθασμένο μοτίβο και να δημιουργήσει λάθος απάντηση ή να δείξει αδικαιολόγητη αβεβαιότητα.

Η ευχέρεια δεν ισοδυναμεί με ορθότητα.

2. Εκτίμηση βεβαιότητας: Μπορούν τα μοντέλα να ξέρουν πότε αμφιβάλλουν;

Τα LLM μπορούν να συνοδεύουν τις απαντήσεις τους με έναν βαθμό σιγουριάς, όπως «είμαι 95% βέβαιο». Αυτό ονομάζεται βαθμονόμηση (calibration).

Ένα καλά βαθμονομημένο μοντέλο πρέπει να συμπεριφέρεται ως εξής:

• Όταν λέει ότι είναι 80% σίγουρο,
• σε πολλές παρόμοιες ερωτήσεις,
• περίπου 8 στις 10 απαντήσεις να είναι πράγματι σωστές.

Οι σύγχρονες έρευνες δείχνουν ότι τα LLM, σε γενικές γραμμές, βαθμονομούνται ικανοποιητικά — όχι τέλεια, αλλά σαφώς καλύτερα από παλαιότερες γενιές.

Αυτό έχει τεράστια σημασία σε εφαρμογές με υψηλό ρίσκο, όπως:

• ιατρικές συμβουλές,
• τεχνικές διαγνώσεις,
• οικονομικές προβλέψεις,
• αυτόνομη οδήγηση.

Το πρόβλημα όμως δεν τελειώνει εδώ.

3. Πώς βελτιώνεται η ακρίβεια των LLM;

Τα μοντέλα δεν στηρίζονται πλέον μόνο στην «ωμή» στατιστική μάθηση. Χρησιμοποιούνται πρόσθετες τεχνικές:

α) Supervised Fine-Tuning (SFT)

Άνθρωποι γράφουν ιδανικές απαντήσεις για χιλιάδες ερωτήσεις. Το μοντέλο συγκρίνει τις δικές του απαντήσεις με τις ιδανικές και προσαρμόζεται.

β) Reinforcement Learning with Human Feedback (RLHF)

Άνθρωποι αξιολογούν τις απαντήσεις του μοντέλου. Το μοντέλο μαθαίνει να παράγει απαντήσεις που θεωρούνται:

• πιο χρήσιμες,
• πιο σωστές,
• πιο ευθυγραμμισμένες με τις ανθρώπινες αξίες.

γ) Red Teaming

Ερευνητές προσπαθούν εσκεμμένα να το «ρίξουν σε λάθος». Ο σκοπός είναι να αποκαλυφθούν αδύνατα σημεία και περιπτώσεις αποτυχίας.

👉 Κοινός παρονομαστής: οι άνθρωποι παραμένουν απαραίτητοι.

4. Το μεγαλύτερο πρόβλημα: τα μοντέλα δυσκολεύονται να συνοψίσουν τις «εσωτερικές τους πεποιθήσεις»

Ακόμη κι όταν ένα μοντέλο:

• χειρίζεται εσωτερικά πιθανότητες,
• έχει εικόνα διαφόρων ενδεχομένων,
• υπολογίζει σύνθετα μοτίβα,

δεν μπορεί πάντα να εκφράσει αυτή την εσωτερική γνώση με ακρίβεια σε μια απλή πρόταση.

Η έρευνα δείχνει ότι:

• Οι λεκτικές εξηγήσεις δεν αντιστοιχούν πλήρως σε αυτά που «πιστεύει» στατιστικά.
• Τα μοντέλα συχνά αναφέρουν αυθαίρετες πιθανότητες που δεν αντικατοπτρίζουν τις πραγματικές εσωτερικές κατανομές.
• Χρειάζονται νέες τεχνικές ώστε τα μοντέλα να αποδίδουν με λόγια το σύνολο της αβεβαιότητας που φέρουν.

Αναπτύσσονται ήδη μετρικές αυτο-αντανάκλασης, που δείχνουν πώς τα συστήματα μπορούν να βελτιωθούν σε αυτόν τον τομέα.

5. Μαθηματικά, αλήθεια και Τεχνητή Νοημοσύνη

Η προσπάθεια κατανόησης της αβεβαιότητας δεν είναι νέα· στηρίζεται σε εργαλεία της Θεωρίας Πληροφορίας, της Θεωρίας Πιθανοτήτων και της Στατιστικής.

Στον πυρήνα της βρίσκεται πάντα η ίδια μαθηματική απαίτηση:

• σαφής μέτρηση της αβεβαιότητας,
• ακριβής μετάφραση της αβεβαιότητας σε χρήσιμες αποφάσεις,
• συνεχής έλεγχος αξιοπιστίας μοντέλων σε δυναμικά περιβάλλοντα.

Η κατανόηση αυτών δεν είναι απλώς τεχνικό ζήτημα· είναι θεμελιώδες για την εμπιστοσύνη μας στην τεχνητή νοημοσύνη.

Συμπέρασμα

Οι σύγχρονοι αλγόριθμοι:

• μπορούν συχνά να εκτιμήσουν τη βεβαιότητά τους αρκετά σωστά,
• μπορούν να δώσουν σωστές απαντήσεις με εντυπωσιακή συνέπεια,
• δεν μπορούν ακόμη να συνοψίσουν πλήρως τι «γνωρίζουν» εσωτερικά,
• εξακολουθούν να χρειάζονται ανθρώπινο έλεγχο και μαθηματική εποπτεία.

Η κατανόηση της αβεβαιότητας βρίσκεται στο επίκεντρο της μελλοντικής αξιοπιστίας της ΤΝ — και τα μαθηματικά είναι το θεμελιώδες εργαλείο που θα μας βοηθήσει να ξεχωρίσουμε το πραγματικά αληθινό από το απλώς «εύηχο».

🧠 Mathematics, Artificial Intelligence and Truth: Can Algorithms Trust Themselves?

Introduction

We live in an era where Large Language Models (LLMs) — modern artificial intelligence systems — generate answers with impressive fluency. But fluency is not the same as truth.

The big question is: can AI know when it is right?

The relationship between mathematical accuracy, uncertainty and AI reveals a world of statistical patterns, probabilities and self-evaluation. In this article we explore:

• How LLMs “understand” what is true
• How they estimate their own confidence
• Why human oversight remains critical
• What current research shows about uncertainty in AI
• Whether algorithms can really summarise what they believe

1. What does “truth” mean for an LLM?

A Language Model does not “know” in the human sense. Its primary task is to predict the next word based on statistical patterns learned from huge amounts of text.

👉 If an error appears frequently on the internet, there is a chance it will repeat it.

Example:
Many people believe that the capital of Australia is Sydney. An older model might have “learned” this incorrect pattern and produced a wrong answer or shown unjustified uncertainty.

Fluency does not equal correctness.

2. Estimating confidence: can models know when they doubt?

LLMs can attach a confidence level to their answers, such as “I am 95% sure”. This is called calibration.

A well-calibrated model should behave like this:

• When it says it is 80% confident,
• over many similar questions,
• about 8 out of 10 answers should actually be correct.

Recent research suggests that LLMs are, in general, reasonably well calibrated — not perfect, but clearly better than earlier generations.

This matters enormously in high-risk applications such as:

• medical advice,
• technical diagnostics,
• financial forecasting,
• autonomous driving.

But the problem does not end there.

3. How is the accuracy of LLMs improved?

Modern models no longer rely only on “raw” statistical learning. Additional techniques are used:

a) Supervised Fine-Tuning (SFT)

Humans write ideal answers to thousands of questions. The model compares its own answers to these ideal ones and adjusts.

b) Reinforcement Learning with Human Feedback (RLHF)

Humans evaluate the model’s responses. The model learns to produce answers that are:

• more useful,
• more accurate,
• better aligned with human values.

c) Red Teaming

Researchers deliberately try to push the model into failure. The goal is to uncover weaknesses and problematic edge cases.

👉 Common denominator: humans remain indispensable.

4. The deeper challenge: models struggle to summarise their “internal beliefs”

Even when a model:

• handles probabilities internally,
• has a sense of different possible outcomes,
• computes complex statistical patterns,

it cannot always express this internal knowledge accurately in a single sentence.

Research indicates that:

• Verbal explanations do not fully match what the model “believes” statistically.
• Models often report arbitrary probabilities that do not reflect their true internal distributions.
• New techniques are needed so that models can express their uncertainty more faithfully in words.

New self-reflection metrics are already being developed, showing how systems might improve in this dimension.

5. Mathematics, truth and Artificial Intelligence

The effort to understand uncertainty is not new; it is grounded in Information Theory, Probability Theory and Statistics.

At its core we always find the same mathematical requirements:

• clear measurement of uncertainty,
• precise translation of that uncertainty into useful decisions,
• continuous reliability checks in changing environments.

Understanding these issues is not merely a technical matter; it is fundamental to our ability to trust artificial intelligence.

Conclusion

Modern algorithms:

• can often estimate their confidence reasonably well,
• can provide correct answers with impressive consistency,
• still cannot fully summarise what they “know” internally,
• continue to require human oversight and mathematical supervision.

Grasping uncertainty lies at the heart of AI’s future reliability — and mathematics is the fundamental tool that helps us distinguish what is genuinely true from what merely sounds convincing.