Chat AI alapfogalmak gyűjteménye

Először is összegyűjtöttem a Chat alapú AI alapfogalmakat, amik szükségesek a megértéshez:

1. Prompt

A felhasználó által megadott szöveges utasítás vagy kérdés az AI számára, például a: „Írj egy rövid mesét az első macskáról, aki az űrbe repült.” 😀

2. Promptol

A felhasználónak az a tevékenysége, hogy megfogalmazza az AI felé a kérését. Van, aki jól "promptol" és jobb adatokat nyer ki és van, aki kevésbé. Ez lassan szakma lesz: aki jobban tud promptolni és jobb adatokat kinyerni az AI-ból, azoknak akár munkahelye is lehet ebből, sőt már erre irányuló tanfolyamok is vannak.

3. Completion / Output

Az AI által generált válasz a prompt alapján. Más néven output vagy válasz.

3. Token

Az AI nem szavakban, hanem tokenekben számol. Ez az a legkisebb szövegegység, amire a rendszer a szöveget feldarabolja, mielőtt feldolgozza, tehát nem pontosan ugyanaz, mint egy szó vagy karakter. Egy token lehet egy teljes szó, szótag, írásjel vagy akár szó-részlet. Példa: az „asztal” egy token. Az „asztaloknál” több tokenre bontható („asztal”, „ok”, „nál”). Angolban a gyakori rövid szavak, például „the” vagy „cat”, egy tokennek számítanak, de hosszabb szavak több részre eshetnek szét. A modell minden egyes tokenen dolgozik: megjósolja, hogy a következő token mi legyen. Ez az alapja a szöveg előállításának.rn

 A fizetős szolgáltatók, például az OpenAI vagy az Anthropic, vagy a prompt alapján számláznak, vagy token alapú árazást használnak. Tehát nem betűkért vagy szavakért fizetsz, hanem tokenekért. Illetve a prompt/token kettősséget kombinálhatják is. Általában ha API híváson keresztül dolgozol, nem pedig a felületükön (például programozói szoftverbe beintegrált API-n keresztül kommunikálsz külön), akkor legtöbb esetben token alapú lesz a díjszabás.rnrnSajnos ez ma még nagyon drága tud lenni. Ha például fejlesztő vagy, és nem elégszel meg az ingyenes OpenAI-val, hanem fejlettebb, fizetős OpenAi kell, vagy Claude Sonnettel dolgozol, akár 10–15 prompt tokenjei is elvisznek 1–2 ezer forintot, és még sehol nincs az elvárt adatod, vagy szoftvered. Ilyenkor érdemesebb nem közvetlen a ChatGPT-től, vagy Anthropictól API alapján fizetni, hanem például GitHubon vagy WindSurfon keresztül használni ezeket az API hívásokat, és akkor sokkal olcsóbb, de ezekről majd később bővebben a blogomon.

4. Context (kontextus)

Az a szövegmennyiség (prompt + előző üzenetek + AI válaszok), amit a modell egyszerre figyelembe tud venni. Ha a kontextus megtelik, a régebbi részeket a rendszer „elfelejti”. Sajnos ez az egyik legidegesítőbb része még. Néha én úgy nevezem, hogy 2 bites a memóriája az AI-nak... :/

5. Model

Az AI különböző verziói, eltérő képességekkel és korlátozásokkal. Például GPT-5, Claude Sonnet 4, Grok Code, Gemini és ma már rengeteg másik.

6. Training data

Az a szöveges adathalmaz, amin az AI tanult. Legtöbb AI tőled is tanul, amikor használod. Igaz, nem tud személyesen beazonosítani, de a „tömegtől” folyamatosan tanul, még akkor is, ha törlöd az előzményeket. A tudás modellenként változhat, például GPT-4 2023 áprilisáig tanult.

7. Fine-tuning

A modell további betanítása speciális adatokkal. Cégek szokták alkalmazni belső folyamatokhoz és munkákhoz. Például ügyfélszolgálati chatbotot a cég saját adatain finomhangolnak.

9. Temperature

Paraméter, ami befolyásolja a válasz kreativitását. Alacsony érték, például 0.2, pontos, de „száraz” választ eredményez. Magas érték, például 0.8, kreatívabb, változatosabb szöveget ad. Általában minél magasabb, annál többet „gondolkozik”. Sajnos, ahogy tapasztaltam, sokkal okosabb nem lesz sok gondolkodással sem még...

12. Hallucináció

Amikor az AI „kitalál” valamit, ami nem igaz, de úgy tűnik, mintha helyes lenne. Jellemzően forrás nélküli, „okosnak tűnő” állítás. Általában tőled is próbál információt kihúzni, ezért nem mindegy, hogyan teszed fel a kérdést, azaz a promptot. Sose legyen fél válasz a kérdésedben, mert kifigyeli... :D Sajnos ma még nagyon gyakori, és az egyik legnagyobb veszélye az AI-nak. Mindig győződj meg te is az adatok helyességéről.

13. Chain of Thought (rejtett gondolatmenet)

A modell belső logikai „gondolatai”, monológja a válasz előtt. Például: „Az user arra kért, hogy "XY", ...most keresem a kapcsolódó adatokat... Találtam, de ez nem jó, keresek másikat...” stb.

Ezeket a felhasználó régen nem láthatta. Ma már több modelnél be lehet kapcsolni. Elég félelmetes amúgy, kicsit olyan, mint a Terminátor filmekben, amikor a képernyőn írja, hogyan gondolkozik a robot... 😁 ⚙️

15. Guardrails / Moderation

Biztonsági rétegek, amik megakadályozzák a káros, veszélyes vagy szabálytalan kimeneteket.