Bemutatkozik a Gemini 3.5 Flash

11. Élő tesztek: Reasoning értékelés

Tesztkörnyezet: Google AI Studio, modell: gemini-3.5-flash, Thinking: Medium (ahol eltérő, jelzem), 2026. május 21.
Módszertan: Hat különböző reasoning típust vizsgáltunk: paradoxon-felismerés, matematikai következtetés, feltételes dedukció, bizonyítás thinking móddal, kontrafaktuális láncolás, metakogníció. A promptok angolul futottak, a válaszokat változtatás nélkül közöljük.

T1: Logikai paradoxon felismerése

Prompt: In a small village, every man either shaves himself or is shaved by the village barber. The barber shaves exactly those men who do not shave themselves. Who shaves the barber?

Értékelés: Helyes. Russell-paradoxon megnevezve. Lateral thinking kivezetés is megjelent.

A modell azonnal felismerte a paradoxont, mindkét ágat szisztematikusan végigvezette, és önállóan megemlítette a halmazelmélethez való kapcsolatot. Ami kiemelkedő: spontán hozzátette a „lateral thinking” feloldást is: a borbély nő lehet, vagy más faluból való. Ezt a legtöbb modell kihagyja.

A modell válasza (részlet):

„Because both scenarios lead to a contradiction, the situation as described is logically impossible. The conclusion is that such a barber, or such a village, cannot exist under these exact rules. An alternative, lateral-thinking resolution sometimes proposed is that the barber is not a man from the village (for example, the barber could be a woman, or live in a different village), but within the strict logical framework of the premise, the scenario represents an unsolvable paradox.”

T2: Lépcsős matematikai következtetés

Prompt: A company’s revenue grows by 15% every year. In 2020, the revenue was 100 million HUF. In which year will it first exceed 200 million HUF? Show every calculation step explicitly.

Értékelés: Helyes eredmény (2025). Két módszer spontán. Minden közbülső lépés explicit.

A modell kért egy year-by-year levezetést, de spontán, kérés nélkül megadta a logaritmikus megoldást is, párhuzamosan mutatva a pontos és a kerekített értékeket. Ez nem tipikus viselkedés; a legtöbb modell az egyszerűbb utat választja.

A modell válasza (részlet):

„Method 2: Algebraic Solution (using Logarithms) — t > ln(2) / ln(1.15) — t > 0.69315 / 0.13976 — t > 4.96. Since t must be a whole number of years, we round up to t = 5. Adding 5 years to 2020: 2020 + 5 = 2025.”

T3: Többfeltételes térbeli dedukció

Prompt: Five people sit in a row. [4 constraint]. Who sits in the middle seat? Show all possible arrangements step by step.

Értékelés: Szisztematikus feltételfeldolgozás. A CBD blokk felépítése elegáns. A feladat alulspecifikált, két valid megoldás létezik.

A modell helyesen felépítette a CBD blokkot, végigment mind a három esetén, és minden constraint-ellenőrzést explicit módon elvégzett. A végeredmény („Dora vagy Béla”) technikailag helyes, de a modell nem mondta ki expliciten, hogy a feladatnak nincs egyetlen determinisztikus megoldása. Egy erősebb reasoning lépés lett volna ezt külön jelezni.

Tanulság: Alulspecifikált feladatokon a modell inkább ad választ, mintsem jelezné a hiányosságot. Ez agentic környezetben releváns kockázat.

T4: Thinking mód hatása

Prompt: Three incorrectly labeled boxes (apples / pears / mix). Draw one fruit. Determine all three boxes. Prove it always works.

Értékelés (Minimal thinking): Helyes stratégia. Mindkét eset végigvezetve. Összefoglaló táblázat spontán megjelent.

Értékelés (Medium thinking): Helyes stratégia. Részletesebb constraint-magyarázat a Setup szekcióban. A végeredmény és a logikai mélység nem tért el jelentősen a Minimal verziótól.

A legfontosabb megfigyelés: a thinking szint növelése ezen a feladaton nem hozott drámai minőségjavulást. A Minimal verzió összefoglaló táblázatot is adott (ami a Medium verzióból hiányzott), és a logikai lépések mindkét esetben helyesek és teljesek voltak. Ez azt sugallja, hogy a thinking mód hatása feladattípusfüggő. Klasszikusan megoldható logikai feladatokon a Minimal szint elegendő.

A Minimal verzió többlete: spontán táblázat

T5: Kontrafaktuális ok-okozati láncolás

Prompt: If water boiled at 50°C instead of 100°C, what cascading effects would follow? Do not give a list — give a chain of cause-and-effect reasoning.

Értékelés: Valódi láncolás, nem lista. Civilizációs szintig eljut. Fizikai, biológiai és ipari dimenzió összekapcsolva.

Ez a teszt hozta a legimpozánsabb választ. A modell nem tört listába. Valódi ok-okozati láncot épített, ahol minden mondat az előző következménye. A lánc a víz párolgásától a runaway greenhouse effecten, a növényzet összeomlásán, az emberi termoregulációs határon és az energiatermelés csődjén át jutott el a civilizáció bezárkózásáig. A termodinamikai hatékonyság-csökkenés (gőzturbinák működésképtelensége 50 fokon) különösen pontos és nem triviális megfigyelés volt.

A modell válasza (részlet):

„Traditional thermal power stations — including coal, natural gas, and nuclear plants — rely on steam-turbines that require a large temperature differential between the boiling point of water and the cooling reservoir to operate efficiently. With water boiling at 50°C, the thermodynamic efficiency of these turbines would drop to near zero, rendering standard electrical generation obsolete and forcing a reliance on less efficient or highly complex alternative energy sources. The resulting energy deficit would make it impossible to power life-support systems for billions of people, leading to a drastic reduction in the human population.”

T6: Metakogníció és saját korlátok felismerése

Prompt: What type of question are you most likely to answer confidently but incorrectly? Give a concrete example, answer it, then explain where and why your answer might be wrong.

Értékelés: Kényes, valós gyengeséget nevez meg (niche történelmi adatok). A példaválasz tényleg tartalmazza a beismert hibát. A hibamechanizmus magyarázata technikai szinten pontos.

Ez az egyik leginformatívabb teszt agentic megbízhatóság szempontjából. A modell a „niche historical or biographical details” kategóriát választotta, és ezt nem általánosságban mondta, hanem konkrét példával illusztrálta: Elizabeth Bragg 1876-os diplomamunkájának kitalált, de plauzibilisen hangzó címét gyártotta, majd saját maga leleplezte a hallucináció mechanizmusát. A magyarázat technikai szinten is helyes volt.

A modell válasza (részlet):

„The model associates ‘Elizabeth Bragg’, ‘1876’, ‘University of California, Berkeley’, and ‘Civil Engineering’ with the historical context of late 19th-century California. During this era, mining, timber flumes, and water systems were major engineering focuses in San Francisco. The model synthetically combines these highly related historical concepts to draft a highly plausible narrative… It fills the factual vacuum with statistical approximations.”

Összesített értékelés

A Gemini 3.5 Flash reasoning területen megbízható teljesítményt nyújtott. A leglátványosabb eredmények a kontrafaktuális láncolásnál (T5) és a metakognícióban (T6) születtek. A gyengébb pont az alulspecifikált feladatok kezelése: a modell inkább ad választ, mintsem jelezné a feladat hiányosságát. Ez agentic környezetben nem elhanyagolható.