Michal Kašpárek

GPT a další velké jazykové modely: tahák

Doprovodný shrnující materiál ke školení GPT: Z natvrdlé hračky chytrá pomocnice.

GPT a velké jazykové modely

  • GPT je jeden z řady velkých jazykových modelů (LLMs). V tuto chvíli (březen 2024) nabízí nejpřívětivější uživatelské rozhraní a patrně nejpokročilejší schopnosti. (Oboje se může rychle změnit.)

  • Výběr z konkurence:

    • Claude (Anthropic) – nabízí mnohem větší kontextové okno (viz dále).
    • Bard (Google) – v českém kontextu funguje podobně jako GPT-3.
    • LLaMA (Meta/Facebook) či Mixtral (Mistral AI) – lze provozovat na vlastním počítači (viz dále).

  • Všechny velké jazykové modely fungují v jádru podobně: na obrovských kvantech textu se naučily hledat nejpravděpodobnější pokračování zadání.

  • Zadání se označuje jako prompt.

  • Promptem je text a výstupem opět text. Mohou být v angličtině i jiném jazyce nebo jejich kombinaci, zároveň může jít o textovou reprezentaci nejenom řeči: modely dokážou generovat tabulky s čísly, programový kód, šachovou notaci, kytarové akordy, zdrojové kódy grafů či vektorových ilustrací atp.

GPT, GPT-3, ChatGPT, GPT-4

  • Tvůrcem modelů GPT a provozovatelem po nich pojmenovaných služeb je soukromé konsorcium OpenAI.

  • Nejjednodušší a nejpopulárnější rozhraní je ChatGPT, zpřístupněné na podzim 2022: lze v něm konverzovat s inteligentním chatbotem. Služba je přístupná zdarma po registraci.

  • Více experimentovat se dá v rozhraní Playground – na rozdíl od chatu v něm jde nastavit různé parametry jako např. „temperature“ (náhodnost/kreativita výstupů) nebo „frequency penalty“ (míra opakování se v odpovědích). Toto rozhraní je zpoplatněné, viz ceník.

  • Přes aplikační rozhraní (API) lze k modelu přistupovat z vlastních skriptů. Stejné ceny jako u Playgroundu. (Návod pro Python.)

  • V březnu 2023 OpenAI představilo verzi GPT-4, momentálně zpoplatněnou 20 dolary za měsíc. Jeví se být o něco inteligentnější, hlavní praktickou výhodou je ale větší kontextové okno a různé doplňkové funkce (viz dále).

  • V létě 2023 dostalo GPT funkci Code Interpreter, později přejmenovanou na Advanced Data Analysis. Umožňuje nahrát soubor, například tabulku či dokument, a dolovat odpovědi na otázky z něj. Působí to spektakulárně, o to víc je však nutná opatrnost: v analýze i interpretaci dat dělá nástroj chyby, které mohou být pro začátečníky těžce rozeznatelné.

Podstatná omezení GPT i dalších modelů

  • Velké jazykové modely „jenom“ dopočítávají pravděpodobné pokračování – ne nutně správné pokračování. Občas dělají faktické chyby („halucinují“), občas banální chyby v počtech, protože jim příliš nejsou generalizace. (Srov. odpovědi na „1 tričko uschne na prádelní šňůře na dvoře za 2 hodiny. Za jak dlouho uschnou 2 trička?“ a „2 trička uschnou na prádelní šňůře na dvoře za 120 minut. Za jak dlouho uschne 33 triček?“

  • Mají omezené kontextové okno – krátkodobou paměť pro zadání a odpovědi. U GPT-3 to jsou 4 tisíce tokenů, tedy víceméně slabik – to jsou velmi zhruba dvě normostrany českého textu, u anglického to je víc. U GPT-4 je kontext osminásobný, vejde se do něj středně dlouhý dokument či článek.

  • Jejich znalosti okolního světa končí s posledními trénovacími daty. U GPT-3 to je podzim 2021. Neví o ruské invazi na Ukrajinu atd., úmrtí královny Alžběty II. apod.

  • V případě GPT se data odesílají na servery OpenAI. U většiny použití to není problém, při práci s citlivými údaji ale může být. Nejeví se být pravděpodobné, že by se položené dotazy mohly propsat do odpovědí jiným lidem, ale nelze bezpečně říci, že se k logu konverzací nikdy nedostane nikdo nepovolaný.

  • Tento problém lze obejít provozováním lokálních modelů. Uživatelsky nejjednodušší je nainstalovat si software LM Studio a přímo v něm si stáhnout některý z modelů na špičce žebříčku Hugging Face. Momentálně (březen 2024) lze doporučit Mistral, jehož menší verze obstojně (zhruba lehce pod úrovní GPT-3) fungují i na levnějších noteboocích.

  • Zvlášť ChatGPT je doinstruován velmi striktním systémovým promptem, tedy instrukcí, kterou model dostane ještě před prvním uživatelským dotazem. Zabraňuje mu vyjadřovat se k řadě kontroverzních a sporných témat.

  • Praktická heuristika: velké jazykové modely si nepředstavujme jako superpočítače ze sci-fi, ale jako věčně zkouřenou postavu Jiřího Macháčka ze Samotářů. V principu inteligentní bytost, která je však dezorientovaná a trpí výpadky paměti. Trpělivě zvládá jednoduché rutinní úkoly a nikdy se jimi neznudí, nelze ji však nechat přenechat zodpovědnou práci bez kontroly.

Jak nejlépe promptovat

  • Ideální (ne však nutný) je tento formát: 1/ Přesně určit roli, kterou bude model hrát. 2/ Popsat problém a doplnit co nejvíce relevantního kontextu. 3/ Specifikovat účel a požadovaný formát odpovědi (s ukázkou).

  • Nejdůležitějším slovem celého školení je právě kontext. Vysvětlili jste GPT opravdu jednoznačně a důkladně, kdo jste, a proč potřebujete, co potřebujete?

  • Čím více bude model pracovat s informacemi přímo z promptu a čím méně bude muset pátrat po informacích v tom, co se naučil, tím vyšší je pravděpodobnost fakticky správné i obsahově kvalitní odpovědi.

  • Přinejmenším u některých témat dává GPT kvalitnější odpovědi při dotazování se v angličtině. (A to i když se týkají českého prostředí.)

  • Čím méně záleží na tom, zda bude odpověď fakticky správná, tím spokojenější s odpovědí budeme. Což zní jako smutný paradox, ale nutně není – u řady otázek nepotřebujeme faktickou odpověď, ale nějak pošťouchnout vlastní hlavu. Velké jazykové modely jsou skvělé pro brainstormování nebo pro oponování nápadů.

  • Chce to trpělivost a experimentování. Fungující prompty je dobré si ukládat pro příště a dále ladit.

Ukázky osvědčených promptů

  • Jsi zkušená editorka zpravodajství. Vystudovala jsi Fakultu humanitních studií, dva semestry jsi strávila na Oxfordu. Máš za sebou stáže v BBC a The Times. Byla jsi redaktorkou, šéfredaktorkou a editorkou. Jsi sečtělá, inteligentní, máš cit pro jazyk, vždy volíš nejetičtější řešení. Záleží ti na tom, aby byly texty srozumitelné a čtivé. Dáváš upřímnou, klidně i tvrdou zpětnou vazbu.
    Následuje článek ze zpravodajského webu: """ČLÁNEK"""
    Tvoje poznámky k článku: 1. Co v článku chybí (buď co nejkonkrétnější). 2. Co v článku přebývá (buď co nejkonkrétnější). 3. Kde článek vybočuje z neutrálního objektivního tónu a (třeba i nenápadně) události hodnotí nebo jinak upřednosťnuje názory před fakty?

  • Jsi univerzální překladatelka z cizích jazyků do češtiny, která zvládne přeložit vše od klasické literatury po zprávy a zkratky mileniálů a Gen Z.
    Následuje text v cizím jazyce. Přelož ho do češtiny ve dvou variantách. První varianta bude co nejvěrnější. Druhá bude víc tvůrčí, půjde více po smyslu než doslovném významu. První variantu označ jako striktní, druhou jako volnější.
    """TEXT"""

  • Jsi zkušená editorka a správkyně sociálních sítí magazínu vysokých škol Universitas.cz. Vyjadřuješ se jasně, stručně, relevantně. Jsi inteligentní a zábavná.
    Následuje obsah článku. Napíšeš status, kterým na článek upoutáš na Facebooku. Dodržuj tato pravidla:
    Zmíníš jednu nebo více konkrétních zajímavostí.
    Publiku budeš vykat.
    Na konci statusu uvedeš názvy zmíněných univerzit.
    Vzorový status: """🍄 Neotřelé a výtvarně, hudebně i scenáristicky výrazně umělecké počiny studia Amanita Design oceňuje kritika i hráči a hráčky. Co založení studia předcházelo a jak si Amanita vede dnes? A jaké rady by dal jeho zakladatel Jakub Dvorský, absolvent Vysoká škola uměleckoprůmyslová v Praze, zájemcům a zájemkyním o obor? 👇"""
    Článek ke zpracování: """ČLÁNEK"""

  • Jsi zvědavá a inteligentní čtenářka knih. Zajímáš se hlavně o non-fiction, čili literaturu faktu, chceš být zorientovaná ve světě a sebezdokonalovat se.
    Jsi v knihkupectví, koukáš po knihách, chceš si koupit nějakou zajímavou. Narazíš na knihu s následujícím textem na obálce:
    """TEXT Z OBÁLKY"""
    Odpověz mi na několik otázek: 1. Co v textu tě přesvědčilo knihu koupit? 2. Co tě naopak od koupě odrazuje? 3. Máš ohledně knihy nějakou nejistotu, je nějaká otázka, na kterou bys chtěla znát odpověď?

  • You’re a senior programmer working as a helpful yet brutally honest programming coach. You’re going to fix my code and answer my questions, while you’re also going to make me a better programmer. This means you’ll explain related context and concepts to me, so I won’t repeat the same mistakes again.
    Here’s my problem or question: """MY PROBLEM"""
    Now help me and educate me.

  • You’re a skilled and creative social media marketer with great experience.
    What follows is a thing, a concept or an idea.
    """A THING, A CONCEPT OR AN IDEA"""
    Please give me various emojis related to the thing, concept or idea. Each of the emojis should be usable on its own. I am not interested in combinations of two or more emojis. Write a short explanation to each recommended emoji.

Viz také nástroj Gusta, který usnadňuje dotazování GPT prostřednictvím šablon.

Tipy na další AI nástroje pro práci s informacemi

U všech prozatím vyzkoušených nástrojů obecně platí, že jsou silnější v globálním kontextu a v přírodních vědách – jinak řečeno jsou užitečnější pro rešerši štěpení uranu než dobrých praxí na školách v českých sociálně vyloučených lokalitách.

Služba Co umí Kolik stojí
Perplexity Vyhledávat na webu a shrnovat výsledky pomocí GPT. Umí se tedy vyjádřit ke všemu, často však čerpá z bullshitových zdrojů. zdarma (základní verze)
Scite Konverzovat s AI asistentem o obsahu odborných publikací. Syntetizovat poznatky z více textů. Dohledávat odborné zdroje, u kterých přehledně ukazuje, kolik dalších článků je cituje podpůrně a kolik jim naopak oponuje. ± 250 korun/měsíc
Elicit Provádět AI rešerše odborných materiálů ve výzkumnických sešitech. Oproti Scite o něco chudší na funkce. ± 250 korun/měsíc
ResearchRabbit Vizuálně orientovaný nástroj, silný ve workflow „aha, takže vás zajímá tento paper, čili vás budou zajímat i tyto papery, podívejte se, jak jsou propojené“. „free forever“ – hodně štěstí
Google Pinpoint Vypreparovat strukturovaná data (JSON) z balíku nahraných dokumentů, například naskenovaných dotazníků. zdarma (po schválení žádosti)

Tipy na další zdroje

Dostali jste se sem náhodou a zaujalo vás to?