Eperbombázó

Az ELTE Média és Kommunikáció Tanszéken tanítók és tanulók blogja

Ha ilyen okos, akkor miért ilyen hülye? A szexista Google Fordító esete

2017. november 30. 12:47 - orbankatalin

He is the leader. She is the cleaner. 

A Google Fordító szerint a férfiak okosak, főnökök, esznek, autót vezetnek, a nők buták, főznek és takarítanak. Vagy mondhatjuk kicsit másképp: a Google fordító szerint az, aki okos, főnök, stb., férfi, aki pedig buta, főz és takarít, az alighanem nő.

screenshotgoogle_translate.png

Amikor a Facebookon először megláttam a képet arról, hogy a Google Fordító egy szexista tulok, az első gondolatom az volt, hogy a screenshot biztos internetes vicc, net-népművészeti alkotás, mert ez 2017-ben nyilván nem lehet valódi.

De nem hagyott nyugodni, hogy valóban álhírről vagy viccről van-e szó. Ahogy egy barátom a maga finom szarkazmusával megjegyezte, „Őszintén szólva az első reakcióm az volt, hogy fake. Csodálkoztam is rajtad... :) De látom, a tőled megszokott alapossággal jártál el, és tényleg pofára esés.”  Valóban percek alatt feltúrtam az internetet, hogy megértsem, valaki szórakozik (meglehet gonosz módon), vagy valami történik. Végül az derült ki, hogy egyik válasz sem helyes, csak a pofára esés a biztos. Nem valaki csinálta ezt, hanem valami, de az a valami legalább részben valaki, méghozzá mi, együtt, történelmi időkre visszamenően.

 

Hihetetlen, de egyáltalán nem újság

 Mint sok más facebookos, twitteres fezúdulás és felfedezés esetében, a probléma nem új – persze a fake news korában már azt is meg kell becsülni, ha egy hír igaz, de régi. Nemcsak a gépi fordítás és a mesterséges intelligencia szakértőinek lehet ismerős, hanem a figyelmes újságolvasónak is, mert 2013-ban egy standfordi, 2017-ben pedig egy princetoni kutatás közzététele után bejárta a sajtót a gépi fordítók és a mesterséges intelligencia előítélet- és részrehajlásproblémája (pl. HuffPost , Guardian). Úgy tűnik, a mostani közösségimédia-kör kiindulópontja egy konferenciaelőadás “Stereotypes in Google Translate” feliratú diája volt egy női informatikusok közösségeként alapított társadalmi szervezet (1987-től Institute for Women and Technology, majd az alapító tiszteletére 2003-tól AnitaB.org) 2017. októberében tartott konferenciáján. A „Bias in AI: when you translate this from English Turkish, a gender neutral language, then that same Turkish phrase back to English #GHC17” kísérőszöveggel a Twitteren terjedő képet rengetegen kedvelték és megosztották.

gch17pic.jpg

Ami különös, hogy ez az ezek szerint már jól ismert probléma ilyen régen fennáll -- már egyszer, többször tudtuk, mégsem történt semmi.  Vajon miért?

A 2006 óta működő és havi több mint 500 millió felhasználót kiszolgáló Google Fordító nem úgy dolgozik, hogy válogat a szótári jelentések közül, és különféle szabályok szerint összerakja belőlük a célnyelvi mondatot. Empirikus módszerrel fordít; emberi erővel elkészített bonyolult szabályrendszerek helyett óriási példatárakat (korpuszokat) használ, és ezeket dolgozza fel. Kb. tíz évig statisztikai elemzés alapján a legoptimálisabb, legesélyesebb változatot választotta ki (ez az SMT, statisztikai alapú gépi fordítás).

 

Hogy is lesz akkor az „ő okos”-ból „he is smart”?

 A Fordító mintákat keres több száz millió már lefordított dokumentumban, és ezek alapján próbál találgatni. Egy teljesen új nyelvpár sikeres bevezetéséhez kell egy minimum 1 millió szavas kétnyelvű korpusz (a két nyelv egymásnak megfelelő mondatpárjaival) és két egynyelvű korpusz (legalább 1 milliárd szó mindkét nyelvből), állította Franz Josef Och, a fordító egyik alkotója – a mágus, aki azóta már az élet meghosszabbításával és genetikai szűrésekkel foglalkozó biotechnológiai cégeket boldogít . Ilyen hatalmas korpuszok például az ENSZ és az EU több nyelven is publikált dokumentumai vagy a hírügynökségi szövegeket tartalmazó milliárdos nagyságrendű Gigaword korpuszok.

Ezt váltotta föl 2016-ban a neurális gépi fordítás, a tanulásra és fejlődésre képes mesterséges idegsejt-háló, ami kifejezések helyett már egész mondatokat dolgoz fel, a szavakat részekre bontja és ezeket a neurális hálózatban egyre inkább képes jelentésekké kombinálni, azaz nemcsak lefordítani, hanem érteni is, amit fordít. A mesterséges idegsejt-háló nem olcsó dolog – a Google Brain óriási anyagi befektetésére volt hozzá szükség, és még ez is csak egy viszonylag kicsi gépi agyat eredményezett, egy digitális egérkéét. A gépi deep learning segítségével fantasztikus fejlődést láttunk az elmúlt néhány évben, az unaloműző viccparádénak használt Google Fordító, ha nem is megbízható, de használható eszköz, elfogadható kompromisszum lett milliók számára.

Néha majdnem olyan jó, mint mi.

translationquality.png

Forrás: Google Reearch Blog, 2016. szept. 27.

De ha ilyen okos, hogy lehet ennyire hülye?

 Hogy maradhatott meg ebben a nagy hipermodern mesterséges agyban ez a mára kőkorszakinak számító, sértő és ostoba „tudás”? Ez volna a „deep” a deep learningben, hogy a legcsodálatosabb, még nemrég is elképzelhetetlen, varázslatos technológiával lemegyünk kutyába?

A statisztikai elemzés és a mesterséges intelligencia is mintákat keres a hatalmas adathalmazban és mindkettő ki van téve annak, hogy eleve részrehajló az információ, amit elemez és amiből tanul. 

A hímnemű névmás azért a gépi fordítóprogramok defaultja, mert „a hímnemű névmás felül van reprezentálva azokban a nagy szövegkorpuszokban, melyekkel a modern rendszereket betanítják,” írja a 2012-es stanfordi kutatás vezetője, Londa Schiebinger.Tehát amikor a legvalószínűbb megoldást keresi a minták között, valószínűbbnek fog látszani ez a felülreprezentált változat. De bizonyos összefüggésekben a nőneműt választja, mert statisztikailag ő takarít, főz, vigyáz a gyerekekre, és (hogy valami jót is írjunk) csodálatos. Tehát a gépi fordító reprodukálja a korpusz öröklött részrehajlását.

Ráadásul a rendszer mostanáig csak az adott mondatot dolgozta fel, vagyis hiába derült ki az előző mondatokból, hogy férfiről vagy nőről van szó. A legelemibb kontextust nem tudta kezelni, de az összes rejtett részrehajlást megtalálta. 

 screenshotprogramozo.png

Ez is változik: idén augusztusban Helsinkiben egy neurális fordítórendszer átsettenkedett a mondathatáron! Elkezdték tesztelni, méghozzá az OpenSubtitles többnyelvű feliratain, hogy mi történik, ha a rendszer úgy tanul, hogy a szomszédos mondatokkal együtt kezeli a fordítandó mondatot.  Ez alkalmas lehet arra, hogy jobban megfejtse és alkalmazza a nemre vonatkozó információt. 

A statisztikai alapú hibás és sztereotíp módon elfogult fordítás csak egy példája annak, ahogy a mesterséges intelligencia megtanulja az adatok mintáiból az előítéleteket is. Ez a torzító hatás ráadásul meg is sokszorozódik, ha későbbi fordításoknál ezt az előfordulást is figyelembe veszik. Ha az orvos meg a programozó, meg aki nem főz, és nem takarít most férfi lesz a fordításban, a következő még inkább az lesz.

És miért nem lehet ezt olyan egyszerűen kijavítani?

 Többek között azért, ami a mesterséges intelligencia nagy előnye: hogy nem definíciókra és szabályokra épül a működése. Sok, gyakran felfoghatatlan mennyiségű adatból megtanult kapcsolatokból, mintákból elég jó tippjei vannak, de nem tudja meghatározni, mi is az, amit tud.  Bele lehet nyúlni az algoritmusaiba vagy felül lehet írni kézi szabályozással (pl. mindent tegyen hímnembe, mert még az is jobb mint ez a macsó viceházmester – állítólag ezt csinálták a héber igeragozással, amikor fellázadtak a felhasználók), de ez rontja a rendszernek azt a képességét, hogy azt is megtanulja – valóban rájöjjön -- amit mi nem tudunk. Az igazi megoldás tehát az lenne, ha a valóság lenne kevésbé szexista és azt tanulhatná meg. Addig azért az sem árt, ha az informatikusok sokat tanulnának a nyelv és az előítéletek összefüggéseiről és bizonyos esetekben korrigálnának azért, hogy a mesterséges intelligencia alkalmazása ne legyen egyenlő a már megvalósult emancipációs törekvések lenullázásával, a rossz hagyományok újraélesztésével.

Nekünk pedig fontos észben tartani, hogy a Google Fordító a szerencsés kivétel, ahol egy kis kísérletezéssel láthatóvá és kézzelfoghatóvá tehetjük magunknak és másoknak, hol „téved” a gép, de az egyre több helyen és funkcióban használt mesterséges intelligencia-alapú szolgáltatásnál, munkaügyi, biztosítási, orvosi procedúránál, amikor erre nincs és nem lesz módunk, ez ugyanígy elő fog fordulni. Nekünk kell arra gondolni, hogy mit is csinál valójában a fordító, a képelemző, a chatbot, a rákszűrés-ajánló, mikor belőlünk tanul.

Orbán Katalin

14 komment

A bejegyzés trackback címe:

https://eperbombazo.blog.hu/api/trackback/id/tr513405925

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

zolikzol 2017.11.30. 20:53:20

Szuper poszt! Ugyanez lenne, ha a képkereső alatti algoritmusnak sok kutya képére azt mondanánk, hogy macska, akkor egy idő után a kutyákat macskának fogja látni. A háló csak az adatot és a labelt látja, illetve mivel itt LTSM-hálót használnak, van egy fajta "memóriája" a rendszernek.

steve_ 2017.11.30. 22:55:11

Inkább arról van szó, hogy az emberek hajlamosak a saját világképüket belelátni mindenbe, különösképpen azokba a dolgokba, amiket nem értenek.

Lehet, hogy az algoritmus átveszi a tanításához használt adatokban lévő előítéleteket, de hogy mik is pontosan azok az előítéletek, arra már mindenkinek kész is a válasza a saját előítéletei alapján (anélkül, hogy a konkrét használt adatokat, vagy a tanulás mechanizmusát ismerné).

Az emberek előítéletei pedig sokkal gyengébbek a gépénél, hiszen néhány pozitív példa alapján már rögtön kész is a következtetés.

A google translate esetében például, az összes alábbi kifejezés "she" lesz:
ő soviniszta
ő humoros
ő erőszakos
ő bátor
ő nagylelkű
ő kegyetlen
ő lenyűgöző
ő szórakoztató

orbankatalin 2017.12.01. 09:45:25

@steve_: Persze, nincs szó egy világos, egyértelmű, szisztematikus példasorról, van sok ellenpélda és -- ha egyáltalán használhatjuk ezt a szót -- következetlenség (Ő kegyetlen=she is cruel; ő a legkegyetlenebb=he is the most cruel; ő bátor=she's brave; ő merész=he is bold). Lehetne tovább vizsgálódni, hogy inkább a rendszer reprodukál bizonyos tendenciákat, amelyek az elemzett adatokban ott vannak, vagy inkább mi keresünk összefüggéseket random eloszlású jelenségek között. Az, hogy itt kiragadott példák alapján egy egyáltalán nem létező jelenséget kreálnánk, nem gondolom -- egyrészt azért mert bár nekem nyilván nem volt módom 48 óra alatt nagy mintán megvizsgálni ezt, így inkább csak kérdéseket, problémákat akartam felvetni, de annak idején a stanfordi kutatás elég nagy mintán vizsgálta. Nem tudom, hogy mióta tavaly áttértek a Google-nál az MI-alapú rendszerre, volt-e ehhez hasonló kutatás -- biztos lesz, és kiváncsi vagyok az eredményére.
A konkrét esetben nem is az merült föl, hogy minden létező negatív jelentéshez kapcsolna nőnemet vagy hogy kizárólag a sztereotíp módon nőies jó és rossz tulajdonságokhoz és tevékenységekhez kapcsolna nőnemet (valami szabályelvű programozásnál lehetne ilyen következetes), hanem hogy pl. a gyakoriság mérésének alapjául szolgáló adatok régebbiek és konzervatívabbak, mint a kortárs valóság és a kortárs szövegek (ahol pl. más konvenciók vonatkoznak az általános alanyra) és főleg a kortárs konvenciók és elvárások, ezért az így mért gyakoriság és a sztereotípia közelebb kerül pl. bizonyos tevékenységeknél. Másrészt ma nagyobb az elvárás, hogy ne legyen automatizmus ismeretlen nemnél a sztereotíp feltételezés (ami a korábbi nyelvhasználat és a sztereotípia valós társadalmi hatásai miatt együttesen jelentkezik a korpuszban).
Az is igaz -- ebben egyetértünk, azt hiszem -- hogy bizonyos korrelációkra érzékenyebbek vagyunk, mint másokra, mégpedig társadalmi-történeti okokból. Mi értelmezzük, hogy mi a jelentősége a gép által megtalált egyik vagy másik korrelációnak. A princetoni MI-kutatás sem azzal járta be a sajtót, hogy a MI intelligencia közelebbi kapcsolatot talált a sündisznó és a postakürt között, hanem hogy pl. a rasszizmusban előkelő szerepet játszó "összefüggéseket" talált.

Érdemes a cikkeket is megnézni. Úgy tűnik, hogy ezen a problématerületen azok, akik valamit "nem értenek", elég sokan vannak :-) beleértve a szakértőket. Üdv:

thenextweb.com/artificial-intelligence/2017/10/26/scientists-may-have-just-created-the-cure-for-biased-ai/
www.technologyreview.com/s/608986/forget-killer-robotsbias-is-the-real-ai-danger/
www.technologyreview.com/s/608248/biased-algorithms-are-everywhere-and-no-one-seems-to-care/
www.technologyreview.com/s/608619/ai-programs-are-learning-to-exclude-some-african-american-voices/

orbankatalin 2017.12.01. 12:52:33

@zolikzol: Igen, LSTM. Az LSTM rekurrens hálózat elvét, azt hiszem, értem, de részleteiben még nem eléggé. Főleg ahhoz, hogy meg tudjam ítélni a szakértői magyarázatokat. Szóval igyekszem majd egy kicsit továbbképezni magam ebben az irányban. Lassan mindenhez informatikusnak _is_ kell lenni.

zolikzol 2017.12.01. 12:58:49

@orbankatalin: colah.github.io/posts/2015-08-Understanding-LSTMs/ szerintem ez a legjobb leiras rola, legalabbis nekem ez segitett reszleteiben megerteni.

teena 2017.12.01. 15:41:27

ez még érdekes cikk lehet, Kati
aclweb.org/anthology/D/D17/D17-1319.pdf
sok benne a matek, de a címe jó :)
annyit biztos meg lehet érteni belőle, hogy a meglévő modellek erősítik a gender biast és az ő modelljük vhogy ezt próbálja kiküszöbölni

steve_ 2017.12.02. 18:14:51

@orbankatalin: A google translate esetében a nyelvtan miatt az algoritmus kénytelen bináris döntést hozni. Érdekes, hogy az eredmény determinisztikus is, ami nem lenne szükségszerű. Például egy recommender rendszer esetében lehet úgy is érvelni, hogy a talált korrelációk a "valóságot" tükrözik: a rendszer azért mutat gyakrabban nőknek "nőies", férfiaknak "férfias" tartalmakat, mert statisztikailag az érdekli jobban őket, függetlenül attól, hogy ez illik vagy sem a "kortárs" narratívába.

Legyen a cél egy etikai minimum megalkotása. De véleményem szerint káros lenne egy idealizált társadalomkép szemszögéből cenzúrázni az MI kutatásokat. A technológia tudományos alapokon nyugvó eszköz, és mint olyan, az igazságot próbálja meg feltárni, akármi is legyen az.

steve_ 2017.12.02. 18:50:25

Pontosítok: amivel nem értek egyet, az az, hogy az algoritmusokat addig kellene hangolni, amíg egy (adott világnézet szerinti) elvárt eredményt produkálnak, azaz valamilyen, az ideológia által (tetszőlegesen) meghatározott paraméterek (pl. gender, race stb) szerint egyenlő eloszlást adnak. Azzal egyetértek, hogy a módszereket fejleszteni kell, és azzal is, hogy bizonyos kényszerfeltételeket szabni kell.

orbankatalin 2017.12.03. 15:06:00

@steve_: Köszönöm a hozzászólást. Szerintem inkább egyetértünk, mint nem. A minimumnak ezzel az egész problémával való foglalkozást, a tudatosságot tartom. A cenzúrát én sem tartanám akár helyes, akár célravezető megoldásnak (nem is említettem ilyet). A hangolás bonyolultabb kérdés -- lehet, hogy nagyobb kárt okozunk valamilyen hangolási kísérletel, mint amennyit javítunk. Ugyanakkor kérdés, hogy van-e olyan, hogy "bias" az adatokban, és ha igen, kell-e ezzel valamit kezdeni a döntéshozásban? Azt gondolom, hogy a nem-hangolás is valamilyen világnézetet tükröz, illetve, hogy a semmi és pl. egy merev kvótarendszer között rengeteg árnyalat van a meritokratikus kereteken belül. Mondjuk, ha MI-ra bízzuk a pályaválasztási tanácsadást, és "ő" kihoz egy adott gyereknek egy optimális iskolaválasztást és majdani foglalkozást, nagyon nagy a tétje szerintem az átláthatóságnak, és hogy legyen konszenzus abban, hogy itt mi az, ami figyelembe vehető és ami nem. De ha semmit nem tudunk erről és nincs társadalmi vita és konszenzus, akkor sem lesz ez a mechanizmus "ideológiamentes".

steve_ 2018.01.04. 03:41:53

@orbankatalin: nem értek egyet abban, hogy egyetértenénk, de abban megegyezhetünk, hogy nem értünk egyet :) igaz, a hozzászólásaiban lényegesen kiegyensúlyozottabb, mint a cikkben (amiben gyakran előkerülnek pl. a sértő ill. ostoba jelzők az alkalmazott technológiára).

Ön nem említ szó szerint cenzúrát, de a technológiára az ön által aggatott jelzőkben (szexista, sztereotíp, stb.) nehéz nem felfedezni az erre utaló szándékot. Ma még nyitott kérdés, hogy hogyan szabályozzák az interneten megjelenő, potenciálisan sértő, diszkriminatív, "megosztó" tartalmakat. Egyelőre úgy tűnik, a megoldás a cenzúra valamilyen formája lesz, erre jó példa a január 1-jétől érvényes német "netzwerkdurchsetzungsgesetz". Igaz, ez emberi felhasználók által generált tartalomra vonatkozik, de nincs okom feltételezni, hogy az MI esetén jobb lesz a helyzet.

Valóban nincs ideológiamentes választás, viszont nem minden ideológia azonos értékű. Az össztársadalmi konszenzust kizártnak tartom, ennél egyszerűbb kérdésekben is inkább a polarizálódás a tendencia. De azért valami emberies, de legalábbis nem teljesen orwelli kompromisszumban bízom.

Visszatérve kevésbé elméleti síkra, fontos lenne, hogy a nem szakemberek egy minél nagyobb része is tisztában legyen a legfrissebb MI kutatások lényegével és a technológia korlátaival, ebben a média sajnos sokszor nem igazán végez jó munkát. A korlátokat jól összefogalja például ez a friss cikk: arxiv.org/ftp/arxiv/papers/1801/1801.00631.pdf

orbankatalin 2018.01.16. 11:33:20

@steve_: Köszönöm a Marcus-cikket, tényleg jó összefoglaló. A cenzúrát azért nem említettem, mert ilyen szándék nem volt a poszt mögött -- olyan torzítások tudatosításáról és esetleges korrekciójáról volt itt szó, amelyek nem feltétlenül a rendszert működtetők szándékai szerint, hanem (rejtett) hibaként keletkeznek és amikor fény derül rájuk, a rendszer gazdái is hibaként fogják fel őket. (Az ideológiai vitákat egyébként nem tartom fölöslegesnek, de nem következik belőlük a cenzúra mint megoldás.)