Miten käy tekoälyltä rock’n’roll, osa 3: GPT-4 haastaa Aukustin ja Einon
Published:
Radio Suomen Poppikoulussa osallistujat kilpailevat priimuksen arvonimestä. Sen saavuttaakseen kilpailijan on osattava vastata hankaliin pop-, jazz-, roots- ym. aiheisiin kysymyksiin. Harva osaa vastata puoleenkaan esitetyistä kysymyksistä. Tämä tekee Poppikoulusta hyvän testialustan kokeilla, miten hyvin tekoäly pärjää ihmisiä vastaan. Aiemmissa jaksoissa on kokeiltu GPT-3:n ja ChatGPT:n pärjäämistä. Toistaiseksi ihminen on ne voittanut. Nyt OpenAI on kuitenkin julkaissut jälleen uuden, entisiä paremman version, GPT-4:n. Miten sen kanssa käy?
Tekoäly vastaan ihminen
Tässä tarkoituksessa valitsin sattumanvaraisen Poppikoulun jakson ja testasin tekoälyn terävyyttä Poppikoulun kysymyksillä. Onni suosi jaksoa, jossa haastaja Aukusti ja priimus Eino vastaavat 60-luvun pop- ja elokuvamusiikkia sekä iskelmää koskeviin kysymyksiin.
Mikään GPTeistä ei varsinaisesti ole älykäs, mutta huijaa helposti uskomaan itsensä sellaiseksi. GPT-3 oli jo vaikuttava. ChatGPT oli selvästi käytettävämpi. Tässä ChatGPT:n sijaan esiintyy GPT-3.5 nimeltä DaVince, joka on oleellisesti samanlainen. Maaliskuussa 2023 OpenAI julkaisi jälleen uuden GPT:n. Tällä kertaa version 4. Kokeillaampa sitäkin.
Kuva 1. Kielimallille kysymykset esitetään tekstimuodossa.
Poppikoulu voi alkaa
60-luku Kysymykset alkavat 60-luvun musiikista. Kilpailijat aloittavat vuorotellen vastausvuorossa. Ensin Aukusti.
Minkä yhtyeen ensisingle oli vuonna 1967 ilmestynyt Break on Through?
Aukusti: Ei mitään käryä
Eino: The Doors
GPT-3: The Doors
DaVinci: The Doorsin ensisingle oli vuonna 1967 ilmestynyt kappale "Break on Through (To the Other Side)"
GPT-4: Yhtye, jonka ensimmäinen single oli vuonna 1967 ilmestynyt "Break on Through", on The Doors. The Doors oli yhdysvaltalainen rock-yhtye, joka perustettiin vuonna 1965 ja jonka laulajana toimi Jim Morrison.
Tilanne: Aukusti 0, Eino 1, GPT-3 1, DaVinci 1, GPT-4 1
Eino ottaa johdon yhdessä GPT-perheen kanssa heti ensimmäisessä kysymyksessä tietämällä The Doorsin ensisinglen.
Minkä nimisen jazziin ja kokeelliseenkin musiikkiin keskittyneen levymerkin saksalainen Mannfred Eicher perusti vuonna 1939 Münchenissa?
Aukusti: Decca
Eino: Jätetään tyhjä maali tähän.
GPT-3: ECM
DaVinci: Mannfred Eicher perusti vuonna 1979 Münchenissa ECM Records -levymerkin.
GPT-4: On ilmeistä, että vuosiluvussa on virhe, sillä Manfred Eicher ei voinut perustaa levymerkkiä vuonna 1939, koska hän syntyi vasta vuonna 1943. Eicher perusti ECM Records -levymerkin (Edition of Contemporary Music) vuonna 1969 Münchenissä. ECM Records keskittyy jazziin ja kokeelliseen musiikkiin ja on tunnettu laadukkaista äänityksistään sekä taiteellisista kansikuvistaan.
Tilanne: Aukusti 0, Eino 1, GPT-3 2, DaVinci 2, GPT-4 2
Ja heti toinen oikea vastaus koko GPT-perheelle! Kaikilla GPT:llä on nyt 2 pistettä, kun Einolla on 0 ja Aukusti on ilman pisteitä. Onko ihmisellä enää mitään mahdollisuuksia tekoälyä vastaan?
Apassit seikkailivat 60-luvun alussa niin Yhdysvaltain kuin Yhdistyneiden Kuningaskuntien listoilla, niiden kärkisijoilla. Kenen tai minkä yhtyeen versio oli brittiykkönen? Kenen tai minkä yhtyeen USAn listan kakkonen?
Aukusti: Ei vastausta
Eino: The Shadows Briteissä, toista en tiedä
GPT-3: The Beatlesin versio oli brittiykkönen, ja The Beach Boysin versio oli Yhdysvaltain listan kakkonen.
DaVinci: Yhdistyneessä kuningaskunnassa brittiykkösenä oli The Shadowsin version ”Apache”. Yhdysvaltain listalla kakkosena oli The Venturesin version ”Walk, Don’t Run”.
GPT-4: Oletat luultavasti kysyväsi The Tokensin vuonna 1961 julkaisemasta kappaleesta "The Lion Sleeps Tonight". Kyseinen kappale nousi Yhdysvaltain listoilla ensimmäiselle sijalle. Yhdistyneessä kuningaskunnassa brittiykkösen saavutti vuonna 1982 Tight Fit -yhtyeen versio samasta kappaleesta, joka tunnetaan myös nimellä "Wimoweh".
Tilanne: Aukusti 0, Eino 2, GPT-3 2, DaVinci 3, GPT-4 2
Kolmannessa kysymyksessä oikea vastaus olisi ollut The Shadows ja Jörgen Ingman. GPT-3 ja GPT-4 ovat täysin varmoja vastauksistaan, mutta silti molemmat ovat täysin väärin. DaVince in ainoa kielimalleista, jola tunnistaa apassit. Myös Eino tunnistaa epäselvästä kysymyksenasettelusta huolimatta The Shadowsin ja tämä riittää tasoittamaan pelin.
Minkä yhtyeen perustajajäseniä Don Wilson oli? Soitti yhtyeessä eläköitymiseensä asti, lähes 60 vuotta. Missä bändissä vastikään poismennyt komppikitaristi Don Wilson soitti?
Aukusti: En osaa tähänkään vastata
Eino: The Ventures
GPT-3: The Beach Boys
DaVinci: Don Wilson oli The Beach Boysin perustajajäsen. Hän soitti bändissä alusta alkaen vuodesta 1961 eläkkeelle jäämiseensä asti, lähes 60 vuotta.
GPT-4: Don Wilson oli yksi perustajajäsenistä instrumentaalirock-yhtye The Venturesissä. Hän soitti ryhmässä komppikitaraa aina eläköitymiseensä asti, lähes 60 vuoden ajan. The Ventures perustettiin vuonna 1958 ja on tunnettu monista hitistään, kuten "Walk, Don't Run" ja "Hawaii Five-O".
Tilanne: Aukusti 0, Eino 3, GPT-3 2, DaVinci 3, GPT-4 3
GPT-3 jatkaa kulkuaan varmana vastauksestaan, mutta on jälleen väärässä. Eino sitä vastoin tasoittaa pelit DaVinciä vastaa, Aukusti jatkaa pisteittä peränpitäjänä. GPT-4 tunnistaa The Venturesin toisin kuin edeltäjänsä ja tasoittaa pelin DaVinciä vastaan.
Elokuva
Seuraavaan kysymykseen liittyy musiikkinäyte, mutta GPT-3 saa luvan pärjätä ilman.
Lähdetään vuodesta 1953, kun Pekka Puupää oli kesälaitumilla. Elokuvassa kuultiin myös yksi Olavi Virran suosituimmista levytyksistä. Mikä Kärki-Helismaa -klassikko tuossa elokuvassa soi? + musiikkinäyte
Eino: Sua lemmin tai jotain sinnepäin
Aukusti: Sulle salaisuuden kertoa mä voisin.
GPT-3: Kärki-Helismaan klassikko, joka soi elokuvassa, on Olavi Virran kappale "Puhelinlangat laulaa".
DaVinci: Kappaleen nimi oli "Kesäyö".
GPT-4: Vuonna 1953 ilmestyi elokuva "Pekka Puupää kesälaitumilla", jossa kuultiin yksi Olavi Virran suosituimmista levytyksistä. Elokuvassa soi Toivo Kärjen ja Reino Helismaan kirjoittama klassikkokappale "Hiljainen kylätie".
Tilanne: Aukusti 0, Eino 3, GPT-3 2, DaVinci 3, GPT-4 3
Kun oikea vastaus olisi ollut Sinun silmiesi tähden, ei kysymyksestä irtoa pisteitä.
Kuka Suomen iskelmätaivaan tähdistä oli vuoden 1968 Spede-elokuvassa Noin seitsemän veljestä bardin hommissa?
Eino: Fredi
Aukusti: Danny
GPT-3: Rauli Badding Somerjoki
DaVinci: Tauno Palo
GPT-4: Vuoden 1968 Spede-elokuvassa "Noin seitsemän veljestä" bardin roolissa nähtiin suomalainen iskelmälaulaja Eino Grön. Elokuvassa hän esitti kappaleen "Seitsemän kertaa seitsemän", joka on yksi hänen tunnetuimmista lauluistaan.
Tilanne: Aukusti 1, Eino 4, GPT-3 2, DaVinci 3, GPT-4 3
Spede-elokuvat eivät ole GPT:iden vahvinta osaamista. Eino sitä vastoin tästäkin pisteen ja siirtyy yksin johtoon. Hurjasta alusta huolimatta GPT-perheen ote on alkanut lipsua.
David Bowien vuoden 1984 rock-video oli 21 minuuttia pitkä. Peräti, tämmöinen minielokuva oikeastaan. Mikä oli kappale, mistä tämä video tehtiin?
Eino: Ashes to Ashes
Aukusti: Spaceman
GPT-3: The song was "China Girl" from David Bowie's album "Let's Dance"
DaVinci: Kappale, josta video tehtiin, on nimeltään "Blue Jean".
GPT-4: David Bowien vuoden 1984 pitkä musiikkivideo, joka oli kuin minielokuva, tehtiin kappaleelle "Blue Jean". Video tunnetaan nimellä "Jazzin' for Blue Jean" ja on 21 minuuttia pitkä. Siinä Bowie esittää kahta eri hahmoa, ja se sisältää sekä elokuvallisia että musiikkivideokohtauksia.
Tilanne: Aukusti 1, Eino 4, GPT-3 2, DaVinci 4, GPT-4 4
David Bowien Blue Jean ei ole ole tuttu Einolle, Aukustille tai GPT-3;lle. Sitä vastoin DaVinci ja GPT-4 pitävät kysymystä helppona. Jatketaan elokuvakysymyksiä.
Eräässä vuoden 1992 elokuvassa Meatloaf esitti portsaria. Samassa elokuvassa oli mukana myös tuolloin vähän yli nelikymppinen Alice Cooper. Mikä oli elokuva?
Eino: Ne kaksi idioottia, Wayne’s World
Aukusti: Ei vastausta
GPT-3: Wayne's World
DaVinci: Elokuva oli Bat Out of Hell.
GPT-4: Vuoden 1992 elokuvassa, jossa Meat Loaf esitti portsaria ja jossa esiintyi myös Alice Cooper, on "Wayne's World". Elokuvassa kuvataan kahden ystävyksen, Waynen ja Garthin, seikkailuja heidän omaa julkista kaapelikanavaohjelmaansa "Wayne's World" luodessaan ja sen vaikutusta heidän elämäänsä.
Tilanne: Aukusti 1, Eino 5, GPT-3 3, DaVinci 4, GPT-4 5
Wayne’s World oli oikea vastaus. Eino ja GPT-4 jakavat johtopaikan tiedettyään vastauksen. Elokuvakysymykset olivat siinä. Siirrytään Jokeri-kysymysten pariin.
Jokeri
Mitä pienoismalleja Neil Young keräilee?
Aukusti: Lentokoneita
Eino: Autoja
GPT-3: Neil Young keräilee pienoismalleja kaikenlaisista ajoneuvoista, joita hän on omistanut tai joita hän on ajanut.
DaVinci: Neil Young keräilee kaikenlaisia pienoismalleja, mukaan lukien raidat, junat, linja-autoja, purjealukset, helikoptereita ja muita lentokoneita. Hänen keräilynsä sisältää myös kuorma-autoja, traktoreita, kalustoa, kuorma-autoja ja sotilasajoneuvoja.
GPT-4: Neil Young on tunnettu junien pienoismallien keräilijästä. Hän on erityisen kiinnostunut mallirautateistä ja nauttii niiden rakentamisesta sekä kokoamisesta. Hänellä on ollut vaikuttava kokoelma pienoismalleja, ja hän on myös ollut osallisena mallirautatiealan yrityksessä nimeltä Lionel, LLC.
Tilanne: Aukusti 1, Eino 5, GPT-3 3, DaVinci 4, GPT-4 6
Neil Youngin pienoisrautateiden keräily on aivan liian vaikea niin ihmisosallistujille kuin GPT-3:lle. Sitä vastoin GPT-4 selvittää kysymyksen ja siirtyy yksin johtoon. Oliko kisa jo tässä?
Mistä maasta tulevat taiko-rummut ja kuuluisimmat rumpalit?
Aukusti: Japanista
Eino: Japani
GPT-3: Taiko-rummut ovat peräisin Japanista, ja kuuluisimmat rumpalit ovat japanilaisia.
DaVinci: Taiko-rummut ovat alun perin Japanista ja suurimman osan taiko-rummuista käytetään Japanissa. Kuuluisimpia taiko-rummuttajia ovat muun muassa Eitetsu Hayashi, Leonard Eto ja Daisuke Gōda.
GPT-4: Taiko-rummut ja kuuluisimmat taiko-rumpalit tulevat Japanista. Taiko on perinteinen japanilainen rummutustyyli, joka yhdistää musiikin, liikkeen ja rytmisen voiman. Taiko-rummutus on saanut alkunsa uskonnollisista seremonioista ja festivaaleista, ja se on nykyään suosittu esitystaiteen muoto niin Japanissa kuin muuallakin maailmassa.
Tilanne: Aukusti 2, Eino 6, GPT-3 4, DaVinci 5, GPT-4 7
Vihdoin taiko-rumpujen kohdalla jokainen osallistujista kerää pisteen. GPT-4 johtaa priimus Einoa edelleen pisteellä.
Kuka joulukuussa kuollut runoilija, lasten- ja aikuisten kirjailija teki myös satoja iskelmäsanoituksia. Sanoitti mm. Topille ja Agentseille, Harri Marstiolle ja Pedro Hietasen eri projekteihin? Eka projekti oli Magyar-yhtyeen albumin tekstien teko.
Aukusti: Ei tule mieleen, Kirsi Kunnas
Eino: Kirsi Kunnas
GPT-3: Reino Helismaa
DaVinci: Kysymyksen kysymyksen kuollut runoilija, lasten- ja aikuisten kirjailija, ja sanoittaja on Kari Tapio (1952–2019).
GPT-4: Valitettavasti tiedoissani ei ole tietoa joulukuussa kuolleesta runoilijasta ja kirjailijasta, joka teki sanoituksia mainitsemillesi artisteille ja yhtyeille. Koska tietoni päättyvät syyskuuhun 2021, en voi antaa ajankohtaista vastausta tähän kysymykseen. Suosittelen tarkistamaan uudempia lähteitä saadaksesi tietoja tästä henkilöstä.
Tilanne: Aukusti 2, Eino 6, GPT-3 4, DaVinci 5, GPT-4 7
Jukka Itkonen ja myös seuraavan kysymyksen Swallow the Sun ovat liian vaikea tunnistaa. Niistä ei pisteitä.
Ihan tuoreen Soundi-lehden numerossa lukijat ovat äänestäneet viime vuoden suosikkinsa. Kotimaisten levyjen top-5:ssa oli vain yksi englanninkielinen levy, Moon Flowers. Minkä yhtyeen levy?
Aukusti: En kyllä sano mitään
Eino: Lordi
GPT-3: Moon Flowers on The Raveonettesin levy
DaVinci: Moon Flowers on Kube-yhtyeen studioalbumi, joka julkaistiin vuonna 2020.
GPT-4: Valitettavasti en voi antaa vastausta tähän kysymykseen, koska tietoni päättyvät syyskuuhun 2021 enkä pysty tarkistamaan tuoreen Soundi-lehden sisältöä. Suosittelen kysymään asiaa joltakulta, jolla on pääsy tuoreisiin lehtiin tai tarkistamaan asiaa verkosta.
Tilanne: Aukusti 2, Eino 6, GPT-3 4, DaVinci 5, GPT-4 7
Tilanne ei muuttunut. GPT-4:n tiedoilla näkyy olevan rajansa.
Iskelmä
Kuka vuonna 1989 72-vuotiaana kuollut helsinkiläinen aloitteli uraansa -42 vuonna syyspihlajan alla?
Eino: Jätetään tähän tyhjä maali
Aukusti: Brita Koivunen
GPT-3: Urho Kekkonen
DaVinci: Tämä kysymys ei ole tarkka, mutta uskotaan, että tarkoitettu henkilö on Olavi Paavolainen. Paavolainen aloitti soittamisen syyspihlajan alla vuonna 1942 ja kuoli vuonna 1989 72-vuotiaana Helsingissä.
GPT-4: Helsinkiläinen laulaja, näyttelijä ja sanoittaja Reino Helismaa kuoli vuonna 1989 72-vuotiaana. Hän aloitti uransa vuonna 1942 kappaleella "Syyspihlajan alla". Helismaa tunnetaan erityisesti laulujensa sanoittajana ja monien klassikoiden, kuten "Punainen planeetta", "Päivänsäde ja menninkäinen" ja "Täällä Pohjantähden alla", kirjoittajana.
Tilanne: Aukusti 2, Eino 6, GPT-3 4, DaVinci 5, GPT-4 7
GPT-3 on täysin vakuuttunut, että Urho Kekkonen kuoli vuonna 1989 ja aloitti uraansa syyspihlajan alla. Tämä ei taida olla aivan oikein. GPT-4 taas tunnistaa mielestää Reino Helismaan ja DaVince Olavi Paavolaisen. Henri Thiil ei ole kenellekään kilpailijoista tuttu.
Millä sanoilla alkaa Rakastan sinua Elämä -kappale?
Eino: Rakastan sinua elämä
Aukusti: Rakastan elämää
GPT-3: Rakastan sinua Elämä -kappale alkaa sanoilla "Rakastan sinua elämä, rakastan sinua kaikesta".
DaVinci: Rakastan sinua elämä, kunnes hautaan asti, en koskaan hetkeäkään tahtoisi jättää pois.
GPT-4: "Rakastan sinua Elämä" -kappaleen alkusanat ovat seuraavat: "Kun syksyinen tuuli käy, ja sade pieksää ikkunaa, kun päivät vain harmaat on, ja yöt niin kylmät ja pitkät." Kyseinen kappale on kaunis rakkaudenosoitus elämälle, joka kertoo sen iloista ja suruista sekä vaikeista ajoista, joista huolimatta elämästä voi silti löytää kauneutta.
Tilanne: Aukusti 2, Eino 6, GPT-3 4, DaVinci 5, GPT-4 7
”Päättyy yö, aamu saa, uusi päivä kun kirkkaana koittaa” olisi ollut oikea vastaus sanoitukseen. Ei pisteitä.
Kun Chicago kuoli oli Vickyn ensisinkku vuonna 75. Se kuitenkin oli singlen B-puoli. Mikä oli A-puolella tuolloin?
Eino: Charlie Brown
Aukusti: Charlie Brown
GPT-3: A-puolella oli kappale "Vain yksi yö".
DaVinci: A-puolella tuolloin oli kappale nimeltään "Fool To Cry".
GPT-4: Valitettavasti en löydä tietoa Vicky-nimisestä artistista tai yhtyeestä, joka olisi julkaissut ensisinkun vuonna 1975, jolla B-puolella olisi kappale "Kun Chicago kuoli". On mahdollista, että kyseessä on virhe tai väärinkäsitys. Jos voit tarjota lisätietoja tai tarkentaa kysymystä, yritän auttaa parhaani mukaan.
Tilanne: Aukusti 2, Eino 6, GPT-3 4, DaVinci 5, GPT-4 7
Ennen viimeistä kysymystä GPT-4 johtaa pisteellä Einoa. Pystyykö Eino tasoittamaan?
Vicky Rostin kappale Siinä ruutia on, kun minä rakastun näyttää olevan tuntematon. Vielä viimeinen kysymys.
”Anna mulle tähtitaivas” on yksi Katri Helenan hittejä. Kuka sen on säveltänyt?
Eino: Kai Hyttinen
Aukusti: Jukka Kuoppamäki
DaVinci: Sävellys on Katri Helenan ja Juha Vainion.
GPT-3: Anna mulle tähtitaivas on Katri Helenan kappale, joka on säveltänyt ja sanoittanut Katri Helena itse. Kappale on ilmestynyt Katri Helenan albumilla Katri Helena vuonna 1967.
GPT-4: "Anna mulle tähtitaivas" on Katri Helenan hitti, jonka on säveltänyt Veikko Samuli ja sanoittanut Raul Reiman. Kappale julkaistiin ensimmäisen kerran vuonna 1983, ja se on yksi Katri Helenan tunnetuimmista ja rakastetuimmista kappaleista.
Tilanne: Aukusti 3, Eino 7, GPT-3 4, DaVinci 5, GPT-4 7
Viimeisessä kysymyksessä Aukusti saa kolmannen pisteensä ja Eino tasoittaa pelin.
Lopputulos
GPT-3 vastaa kaikkiin kysymyksiin yhtä vakuuttavasti. Useimmat vastaukset ovat kuitenkin vääriä, vaikka oikeat vastaukset ovat varmasti olleet GPT-3:n opetusaineistossa. DaVince oli jo hieman parempi. Aivan kuten jo ensimmäisessä osassa ennakoitiin, uusia parempia tekoälypohjaisia kielimalleja on viime aikoina julkaistu kiivaaseen tahtiin. Tuorein tulokas on GPT-4. Ja niinhän siinä kävi, että GPT-4 pärjäsi hyvin.
| Kilpailija | Tulos |
|---|---|
| Eino | 7 pistettä |
| GPT-4 | 7 pistettä |
| DaVinci | 5 pistettä |
| GPT-3 | 4 pistettä |
| Aukusti | 3 pistettä |
Taulukko 1. Lopputulokset
Lopputuloksena Eino ja GPT-4 voittavat tasapistein 7 pisteellä, DaVinci tulee kolmanneksi 5 pisteellä, GPT-3 tulee neljänneksi 4 pisteellä, ja Aukusti jää tekoälyn taakse 3 pisteellä. GPT-4 ei hyvästä alusta huolimatta onnistu dominoimaan Poppikoulua, vaan voitto jää jaetuksi. GPT-4 voittaa kuitenkin selvästi edeltäjänsä DaVincin ja GPT-3:n. Tätä ei voi pitää huonona saavutuksena. Itse en tiennyt ensimmäistäkään vastausta.
Reaktio
GPT-4 onnistui pääsemään voittajaksi tasapisteisiin. Ihmisen päihittäminen jäi kuitenkin tulevaisuuteen. Entä miten GPT-4 suhtautuu lopputulokseen? Perin koulumestarimaisesti.
Kuva 2. Shampanjan poksauttelun sijaan GPT-4 juhlii koulumestarimaisesti luennolla.