Napisałeś wypracowanie sam, a komputer twierdzi, że zrobił to ChatGPT. Detektory AI oskarżają nawet Szekspira

Wypracowanie, które „napisało AI”

Wyobraź sobie, że piszesz wypracowanie sam, w całości. Nauczyciel wrzuca je do programu, który ma rozpoznawać teksty z AI, a program mówi: to napisał ChatGPT. Brzmi jak absurd, ale właśnie tak działają detektory, na których coraz częściej opierają się szkoły i uczelnie.

Pytanie, jak często się mylą, zadali sobie naukowcy ze Stanfordu. Wyniki opublikowali w 2023 roku.1

Test na 91 wypracowaniach

Badacze wzięli 91 wypracowań napisanych przez osoby, dla których angielski nie jest językiem ojczystym. Były to prace z egzaminu TOEFL, zebrane z chińskiego forum edukacyjnego i napisane w 2020 roku lub wcześniej, czyli zanim ChatGPT w ogóle powstał. Wrzucili je do siedmiu popularnych detektorów.1

Wynik: średnio 61,22% prac oznaczono błędnie jako napisane przez AI. Aż 89 z 91 wypracowań (ponad 97%) co najmniej jeden detektor uznał za tekst z AI, a 18 z nich oznaczyło wszystkie siedem programów naraz.1

Dla porównania: wypracowania amerykańskich ósmoklasistów, czyli osób piszących w ojczystym języku, detektory rozpoznawały prawie bezbłędnie. Średnio mylono się przy nich w ok. 5% przypadków.1

ChatGPT jako „odkażacz”

Teraz najlepsze. Badacze poprosili ChatGPT o poprawienie doboru słów w tych samych wypracowaniach, żeby brzmiały „bardziej jak od rodzimego użytkownika języka”. Po takiej obróbce fałszywe alarmy spadły z 61,22% do 11,77%.1

Czyli tekst napisany samodzielnie jest dla detektora podejrzany, a ten sam tekst po „wygładzeniu” przez ChatGPT wygląda już bardziej ludzko. Badacze sprawdzili też drugą stronę: gdy ChatGPT uprościł słownictwo w pracach ósmoklasistów, detektory zaczęły je oskarżać. Fałszywe alarmy wzrosły z ok. 5% do ok. 57%.1

Dlaczego tak się dzieje

Wiele detektorów sprawdza, jak „przewidywalne” jest to, co czytają. Teksty AI są przewidywalne, bo model wybiera najbardziej prawdopodobne słowa. Problem w tym, że osoby uczące się języka też często piszą prościej, używają mniej różnorodnego słownictwa i prostszych konstrukcji. Dla detektora wygląda to tak samo.1

Autorzy badania piszą wprost, że ostrzegają przed używaniem takich detektorów w ocenie uczniów i studentów.1

Detektor oznaczał jako napisane przez AI teksty ludzi, takie jak Szekspir i Deklaracja Niepodległości.

OpenAI o swoim własnym detektorze, cytat za wpisem Bruce’a Schneiera, tłum. red.23

Szekspir pod lupą

Na stronie dla nauczycieli OpenAI przyznaje, że jego własny detektor oznaczał tekst napisany przez człowieka, między innymi Szekspira i Deklarację Niepodległości, jako wygenerowany przez AI.23 Szekspir zmarł w 1616 roku, czyli ponad 400 lat przed powstaniem ChatGPT.

OpenAI dodaje, że żadne z tych narzędzi nie okazało się wiarygodne w odróżnianiu tekstów AI od ludzkich. Firma zwraca też uwagę, że takie narzędzia mogą nieproporcjonalnie uderzać w uczniów, którzy uczyli się angielskiego jako drugiego języka.23

Podobno to przyszłość.