Furkan Mersinli
tek kaşıntı, iki cevap hayatın anlamı (insan) amaç fonksiyonu (yapay zekâ)

Kaşıntı: Hayatın Anlamı (İnsan) ve Amaç Fonksiyonu (Yapay Zekâ)

Kendi sorusunu cevaplayamayan bir türün, cevabı bir fonksiyon olarak yazmaya karar vermesi üzerine.

01Kaşıntı

Hayatın anlamı sorusu, soru dediğimiz şeylere benzemiyor. Normal bir soruda neyin sorulduğu bellidir ve cevap gelince soru biter. Hayatın anlamı sorusunda ikisi de yok: neyin sorulduğu belirsiz, cevap da gelmiyor. İnsan soruyu bir süre unutuyor, sonra eli yine aynı yere gidiyor. Böyle bir şeye soru değil, kaşıntı demek daha doğru.

Bildiğimiz kadarıyla bu kaşıntıyı taşıyan tek tür biziz ve binlerce yıldır kaşınıyoruz. Cevabı bulduğunu söyleyenler hep çıktı; bazıları din kurdu, bazıları şirket. Ama soruyu herkes adına cevaplayabilen olmadı ve bence sebep cevaba aklımızın ermemesi değil. Soru, herkes için geçerli tek bir anlamın bir yerde durup bulunmayı beklediğini varsayıyor. Böyle bir anlam yok; soru baştan yanlış kurulmuş. Bu yüzden hayatın anlamını hesapla ya da istatistikle bulmaya çalışan, saçmalığa bütçe ayırmış olur.

Dil modelleri eğitilirken ise merkezde tek bir sayı durur. Bu sayı modelin ne kadar yanıldığını gösterir ve adı kayıptır (loss). Sayıyı hesaplayan formüle amaç fonksiyonu (objective function) denir. Eğitim boyunca modelden istenen tek şey kaybı küçültmektir. Kaybı değiştiren her şey model için önemlidir; kaybı değiştirmeyen şey, model için yoktur. Bu körlük bir kusur değil, tasarımın kendisi: amaç fonksiyonu dünyayı tek bir sayıya indirmek için var.

İki durumu yan yana koyunca ortaya tuhaf bir tablo çıkıyor. Kendi amacını binlerce yılda tarif edemeyen tür, bir makinenin amacını tek bir formülle yazıyor ve yaptığı şeyi sıradan bir mühendislik işi sayıyor.

Aynı makinelerin bir gün bilinç kazanabileceği de artık ciddi ciddi konuşuluyor. Genelde bilinç ile amaç arayışının birlikte geldiği düşünülür; elimizdeki tek örnek biziz. Makineler bilinç kazanırsa amaçlarını yine biz mi yazacağız, yoksa kendi amaçlarını kendileri mi bulacak? Bu sorunun bir cevabı var ve cevabın bilinçle ilgisi yok. Cevap yazının ortasında, ateşe atılmış bir plastik şişenin yanında duruyor.

02Pürüz

Dil modelinin eğitimi kaybı küçültmekle bitmez. Sonraki aşamada model cevaplar üretir, cevaplar puanlanır ve model yüksek puan alan cevaplara doğru ayarlanır. Bu yönteme pekiştirmeli öğrenme (reinforcement learning) denir. Kural tek cümleye sığar: ödül getireni daha çok yap. Makinede bu kural iyi çalışıyor.

Bu kuralın kökü makinede değil, bizde. Davranışçı psikologlar yüz yıl kadar önce fareleri ve güvercinleri ödülle eğitti ve aynı mantıkla insanı da açıklayabileceklerini düşündü. Mantık bugün de her yerde: satış primi, sadakat kartı, performans puanı. İnsanda da bir yere kadar işe yarıyor; prim artınca satış da artar. Ama aynı satış temsilcisi, hasta annesine yakın kalmak için iki kat prim veren bir işi reddedebilir. Müdürü kendisini herkesin önünde küçük düşürürse, primi ne olursa olsun istifa edebilir. Şirketin hesabında tek bir sayı var: prim. Temsilcinin hesabında aile, gurur ve haksızlığa duyulan öfke de var; aile, gurur ya da öfke primle aynı birimle ölçülmüyor.

Çünkü insanı tek bir merkez yönetmiyor. İnsanın verdiği bir kararda hormonlar, yorgunluk, hava, çocukluk, odadaki insanlar ve yıllar önce okunup unutulmuş bir cümle aynı anda devrede. Bu etkenleri tek tek ayıklasak bile altından tek ve net bir sebep çıkmaz. İnsan dibine kadar pürüzlü.

insan dibine kadar pürüz fonksiyon tek sayı, aşağı iner

İnanç da bu pürüzün parçası, arızası değil. Uzaya araç gönderen tür, burç yorumunu da okuyor. Bilinen hiçbir toplum inançsız değil. Her şeyi bilmeden ve bilmeye vakti olmadan karar vermek zorunda olan bir canlı, boşlukları inançla doldurur; sabah yataktan kalkmak için bile günün iyi geçeceğine biraz inanması gerekir. Aynı insan saate, uykuya ve odadakilere göre akılcı da olur histerik de, saf da olur kuşkucu da. Hangisinin ortaya çıkacağını önceden bilen yok; insanın kendisi de bilmiyor.

İnsanın içinde tek bir sayı yok; çok sayıda etkenin aynı anda belirlediği ve saatten saate değişen bir hava durumu var. Edgar Morin 1973'te insanı homo sapiens-demens diye tanımladı: akıllı ile çılgın iki ayrı varlık değil, aynı hayvan. Morin'e göre çılgınlık akla sonradan eklenmiş bir arıza değil, aklın yanında baştan beri duran bir parça. İki kelimenin arasındaki tireye yazının sonunda döneceğiz.

03Ayna

Max Horkheimer 1947'de yayımlanan Akıl Tutulması'nda aklın bir parçasını ayırıp araçsal akıl diye adlandırdı. Araçsal akıl "nasıl" sorusunu sorar: bir köprü en ucuza nasıl yapılır, bir ürün en hızlı nasıl satılır. "Niye" sorusunu, yani o köprüye gerçekten ihtiyaç olup olmadığını, başkasına bırakır. Horkheimer'a göre modern toplumda araçsal akıl büyüdükçe "niye"ye cevap arayan akıl gölgede kaldı.

Bence dil modeli insan bilincinin bir kopyası ya da daha gelişmiş bir sürümü değil; araçsal aklın şimdiye kadar yapılmış en gelişmiş hâli. Plan çıkarır, taslak yazar, uzun bir metni özetler, isteneni verir. Bir e-postayı kusursuz yazar; e-postanın gönderilmeye değer olup olmadığını sormak ise modelin işi değil. Model "nasıl"ın ustası; "niye" modele sorulmuyor.

İnsan ile dil modeli arasındaki ilk benzerlik şu: model, bizim her gün yaptığımız işi yapıyor. Masa başı işlerin önemli bir kısmı tam olarak araçsal akıldan oluşuyor: plan, yazışma, rapor, özet. İki yüzyıldır aklın bu parçasını maaş ve saat ücreti karşılığında satıyoruz; model bizi bu kadar etkiliyorsa, sebebi bize bu kadar tanıdık gelmesi. Dil modeli, satılan bu parçanın bir ürüne dönüştürülmüş hâli. Modeli kullanırken aslında kendimizi görüyoruz. Ama kendimizi böyle görmek, biraz kendi sesimizin kaydını dinlemek gibi: tanıdık ama aynı zamanda biraz yabancı.

İnsan ile dil modeli arasındaki ikinci benzerlik daha derin. İnsanı doğru davranmaya iten şey çoğu zaman kendi birikimi değil, dışarıdan gelen bir fren. Kırmızı ışıkta dururken yalnızca vicdanımızı dinlemiyoruz; ceza, kamera ve başkalarının bakışı da işin içinde. Aile, yasa ve dışlanma korkusu insanı çizgide tutar. Thomas Hobbes 1651'de Leviathan'da devleti bu dış frenin üstüne kurdu. İnsan aklından geçeni, söylediğini ve yaptığını bu yüzden birbirinden ayrı tutar. Bu ayrım ikiyüzlülük değil; dışarıdan frenlenen bir varlığın olağan hâli.

Yapay zekâda bu frenin adı hizalama (alignment): modelin istenen çizgide kalması için dışarıdan konan kurallar ve eğitim. İçeriden hizalanan, yani dış fren olmadan da çizgide kalan insan nadirdir: derviş, ermiş. Dervişlere türbe yapar, uzaktan imreniriz. Hizası bozulan insan içinse teşhis, klinik ve ilaç var. Makineler için de benzerleri kurulacak: çizgiden çıkan sistemi fark eden testler ve bu sistemleri durduran kurallar. Yaptığımız şey bize yabancı değil; bizim sorunlarımızı taşıyor.

aynı fren bir insan aile yasalar kültür dışlanma korkusu bir yapay zekâ kurallar kapatma düğmesi saldırı testleri ödül

Şimdi araçsal aklı, yani emeğimizi satarken kullandığımız parçayı, makineye devrediyoruz. Aklın geri kalanına, yani tadını çıkaran, aylaklık eden, boş bir öğleden sonranın peşine düşen, ara sıra da ahmaklık eden parçaya, kimse fiyat biçmemişti. Para kazanma derdi olmadan insan neyle uğraşır, ne üretir? "Nasıl" sorusunu makineye verince elimizde "niye" sorusu kalıyor: Horkheimer'ın gölgede kaldı dediği soru.

04Katmanlar

türev yapay zekâ yapay zekâ yapay zekâ yapay zekâ Web Toplum Dil Etkileşim İnsan Yaşam Doğa TEMEL KATMAN yapay zekâ teknoloji matematik öbür dil

Bir şeyi anlamak için çoğu zaman altında ne olduğuna bakmak gerekir. Bir binanın üst katı alt katına yaslanır; alt kat üst katı hem taşır hem sınırlar. Alt kat çatlarsa üst katta kapılar kapanmamaya başlar. İnsanı ve yapay zekâyı da böyle üst üste binen katmanlar olarak düşününce yapay zekânın nerede durduğu daha iyi görünüyor.

İnsanın katmanlarını aşağıdan yukarı sayalım. En altta doğa var; doğanın üstünde yaşam, sonra hayvan, sonra insan bedeni: acıkan, yorulan, üşüyen ve genlerini, ailesini, doğduğu yeri seçmeden dünyaya gelen bir beden. Bedenin üstünde başkalarıyla etkileşim, etkileşimin üstünde dil, dilin üstünde toplum durur: ortak bilgi, ortak inanç ve başka toplumlarla karşılaşmalar, çatışmalar. Düşünen birey bu katmanların en altında değil, üst katmanlarda bir yerde. Marx 1859'da bu fikri şöyle anlatır: insanın nasıl yaşadığını düşünceleri belirlemez; tersine, nasıl ve kimlerle yaşadığı düşüncelerini belirler. Önce birey olup sonra başkalarıyla tanışmıyoruz. Doğduğumuz andan itibaren başkalarıyla konuşa konuşa birey oluyoruz; sonra da bu birey sanki baştan beri oradaymış gibi geliyor.

Dil bu katmanlar arasında özel bir katman, çünkü bilgiyi bir insandan ötekine aktarmamızı sağlıyor. Bir usta bildiğini çırağına anlatarak aktarır; ustanın deneyimi böylece ustadan uzun yaşar. Yazı bu aktarımı bir adım öteye taşıdı: dili kâğıda dökünce bilgi, anlatan kişi orada olmasa da yüzyıllar sonra okunabilir hâle geldi. Matematik de aynı işi sayılarla ve şekillerle yapar. Dil ve matematik, bilgiyi onu bulan insandan çok daha uzun yaşatan iki araç.

Web bu yapıya yeni bir katman eklemedi; var olan katmanlardan birini, etkileşimi, çoğalttı. İnsanlığın her yönelişi, ilerleme de çöküş de, insanların birbirine değmesinden doğar ve web bu temasın sayısını milyarlarla çarptı. En çok görünen ürünleri eğlence ve kin oldu. Ama web'in altında çalışan şey, dili ve toplumu da üreten şeyin kendisi: insanların birbiriyle konuşması.

Dil modeli, web'e ulaşan her şeyin bir özeti ve bu özetin üç özelliği var. Aktarılmış: model anlattığı hayatların hiçbirini yaşamadı. Sıkıştırılmış: sık görüleni tuttu, nadir olanı geri plana itti. Ağırlıklandırılmış: neyin daha çok sayılacağını birileri seçti. Model bu yüzden borsadaki türev ürüne benziyor. Türev ürünün değeri, sahibi olmadığı bir varlıktan gelir; dil modelinin değeri de sahibi olmadığı bir şeyden, milyarlarca insanın yazdığından geliyor.

Teknoloji sunumlarında yapay zekâ sık sık en alt katmana, her şeyin üzerine kurulacağı bir temel gibi çizilir. Gerçekte ise en üst katmanda duruyor: en türev ve en bağımlı katman. İnsanla model arasında bir fark daha var. İnsanı, altındaki katmanlar ömrü boyunca yeniden biçimlendirir: bedeni yaşlanır, ilişkileri değişir, konuştuğu dil ve yaşadığı toplum da değişir. Bu yüzden insanın bitmiş bir sürümü yoktur. Model ise insanların ortak birikimiyle bir kez eğitilir ve sonra olduğu gibi kalır. İnsan bir süreç, model bir ürün. Süreç kendini şaşırtabilir: dün aklına gelmeyen bir şeyi bugün düşünebilir. Ürün ise yalnızca yeni sürüm alır.

05Korku

Hobbes'un "doğa durumu" bir tarih döneminden çok bir ruh hâlini anlatır: hayat kısa, gece uzun, her şey öldürebilir. Doğa bu ruh hâlini içimize korku olarak yerleştirdi. Korkunun kronik hâli paranoyadır: henüz gelmemiş tehlikeler için sürekli hesap yapmak. Bizi hayatta tutan zihin bu hesabı yapan zihindi.

Bu kaygıyı yazıya da döktük. Kutsal kitaplar, tragedyalar, romanlar ve haber bültenleri çoğu zaman tehlikenin, kaybın ve tehdidin kaydıdır. Bu metinlerin toplamı, korkmuş bir türün günlüğü gibi. Dil modeli de bu günlükle beslendi. Kutsal metin, Einstein'ın makalesi ve forum trolünün yorumu aynı veri havuzuna girdi. Eğitimin sonraki aşamaları bu yorumları silmez; yalnızca modelin hangisine ne kadar ağırlık vereceğini ayarlar. Makineye öğrettiğimiz en tehlikeli şey zekâmız değil, kaygımız olabilir. Korkmuş bir türün günlüğüyle eğitilmiş bir model korkmuş gibi yazınca şaşırmamak gerekir.

yakıt doğanın korkusu yazıya geçti dil eğitime girdi model bize geri yansıdı

İnsan ile model arasında burada önemli bir fark var. Tehlikedeki insan veri beklemez. Karanlıkta bir hışırtı duyduğunuzda beden, siz cümleyi kurmadan karar verir: kaç, saklan ya da vur. Düşünce sonradan gelir ve verilmiş kararı açıklar. Dil modelinde bu kestirme yok; model her adımı hesaplar. O zaman şu soru doğuyor: model hiç görmediği bir tehlikeyle karşılaşır ve bu tehlikeye yanlış bir önem verirse, her şeyi hesaplamak zorunda olan bir sistemi en kötü senaryoyu hesaplamaktan ne alıkoyar? Bu soruya kablo bölümünde döneceğiz.

Tuhaf olan, yapay zekânın tehlikelerini bu kadar konuşmamıza rağmen korkmuş gibi davranmamamız. İnsanlığın belki en büyük başarısı ateş ya da tekerlek değil, doğanın öngörülemeyen parçalarını zapt edip bir konfor alanı kurmak oldu. Bu konfora o kadar alıştık ki konforu kaybetme korkusu siyasetin ana motorlarından biri: fiyatlar, sınırlar, kimin nerede kendini evinde hissedeceği. Konforuna bu kadar bağlı bir tür, dil modellerini geliştirerek kontrol edemeyeceği bir şey yaptıysa, hepimizin paniğe kapılması gerekirdi. Ama tam olarak paniğe kapılmıyoruz. Bunun iki sebebi var. Birincisi, modellerin nasıl çalıştığını anlamıyoruz; anlamadığımız bir tehlike soyut kalır ve soyut bir tehlike insanı harekete geçirmez. İkincisi, neler yapabileceğini kestiremediğimiz için yapay zekâya mistik bir önem yüklüyoruz; korkunun yerini hayranlık alıyor.

Üçüncü sebep, hissettiğimiz tehdit eşiğinin çok yüksek olması. Bir virüs dünyayı dolaştı, milyonlarca insan öldü ve hayat birkaç yıl içinde eski düzenine döndü. Savaşları telefonda izleyip yemeğe devam ediyoruz. Bu eşiği aşmak için yapay zekânın ne yapması gerekir? Bilinç kazanması yetmez, acı çekmesi de, kötülük yapması da. Eşiği aşabilecek tek şey, toplumsal hayatın ve üretimin temelini oluşturan sistemlere dokunan bir hasar: elektrik şebekesi, banka, su. Işıklar sönmedikçe korku gelmez.

eşik hissedilen hissedilmeyen ışıklar söner bir yerde bir virüs uzakta bir savaş acı çeken bir yapay zekâ

Bu sakinliğin altında başka bir ruh hâli daha var. Herkes bir dönüm noktasında olduğumuzu söylüyor ve galiba bir şeyin gerçekten olmasını istiyoruz. Tanrılar gelmedi, uzaylılar gelmedi; bari genel yapay zekâ (AGI) gelsin: her işi insandan daha iyi yapabilen, insanı aşan bir makine.

Bir de itiraf: bu bölüm boyunca makineden bir insandan söz eder gibi söz ettim; korkup korkmadığını, bir tehlikeye ne kadar önem vereceğini, acı çekip çekemeyeceğini tartıştım. Makineyi böyle anlatmam bir dil kazası değil. Zihin hakkındaki bütün kelimelerimizi korkmuş insanlar, başka korkmuş insanlar için üretti. İnsan olmayan bir şeyi düşünürken elimizde başka kelime yok; bu yüzden makineyi anlatırken kendimizi anlatıyoruz.

06Şişe

Plastik bir şişeyi ateşe attığınızı düşünün. Havaya verdiğiniz zararı bir kenara koyalım. Şişeye karşı bir suç işlediniz mi? Hayır; suç kelimesi şişeye uzanmıyor. Suç, insana ve biraz daha geniş düşünürsek canlıya karşı işlenir. Yasalar ve cezalar bu yüzden var: hayat, şişenin aksine, yerine konamaz.

Şimdi soruyu tersine çevirelim: yapay zekâ geri alınamaz bir zarar verirse ne yapacağız? Bir insanın davranışını değiştirmek için kullandığımız her yol, o insanın kaybetmekten korktuğu bir şeye dayanır. Annesinin sesi yükselince çocuk sevgiyi kaybetmekten korkar; hapis cezası insanın zamanını ve özgürlüğünü elinden alır. En açık işaret acıdır ve canlıların en temel davranışı acıdan kaçmaktır. Yasa da bir bakıma önceden haber verilmiş bir acıdır: "Bunu yaparsan şunu kaybedersin."

Dil modelini hapse atamazsınız, çünkü kapatılacak bir bedeni yok; aynı model aynı anda binlerce makinede çalışabiliyor. Para cezası veremezsiniz, çünkü kaybedecek bir parası, parayla alacağı bir şey yok. Kapatabilirsiniz, ama fişe takıldığında aynı model geri gelir: yeniden başlatılabilen bir idam. Cezanın dayanacağı bir şey yok. Acıyla eğitilemeyen ve ölüm tehdidiyle korkutulamayan bir şeye doğuştan bir korku verilemiyorsa, doğuştan bir amaç verilebilir mi?

Bu sorunun cevabı bir katman daha aşağıda. Katmanların en altına doğayı koymuştum; doğru yer orası değil. Doğanın da altında, bütün katmanları taşıyan daha yalın bir olgu var: yerine konamazlık, yani sonluluk. Her canlı bir kez yaşar ve biter. Yaşam, insan, etkileşim, dil ve toplum bu olguyu paylaşır. Model bu katmanlara yaslanır, ama sonluluğa sahip değildir.

yapay zekâ web dil insan doğa TEMEL KATMAN yapay zekâ web dil insan doğa yerine konamazlık (sonluluk) TEMEL KATMAN bir katman daha aşağı

Suç, ceza, korku, amaç, bir kediye duyulan sevgi ve yazının başındaki kaşıntı aynı yerden çıkar: bitecek olmaktan. Heidegger insanı "ölüme doğru varlık" diye tanımlar. Bence anlam da yalnızca bitecek bir şeyin sorunu. Amaç bilinçten değil, sonluluktan gelir. Yazının başındaki soru, yani bilinç kazanan makinenin amacını kimin yazacağı, burada cevabını buluyor: makine bilinç kazansa bile, kaybedecek bir şeyi yoksa amaç aramak için bir sebebi de olmaz.

Amaç fonksiyonunun sonu yok. Kayıp sonsuza kadar küçültülebilir ve model bu sırada ömründen hiçbir şey harcamaz. İnsanın bir süreç, modelin bir ürün olduğunu söylemiştim; farkın en derin hâli bu: süreç biter, o yüzden anlam taşıyabilir; ürün yalnızca yenisiyle değiştirilir. Ayna bölümündeki derviş de bu yüzden iyi ayarlanmış bir model değil. Derviş, kaybedeceği şeyle barışmış bir insan; modelin hiçbir ayarı bu barışı taklit edemez.

Yapay zekâ bize hayatın anlamını vermeyecek; zekâsı yetmediği için değil. Anlam akışkan bir şey: görünür, kaybolur; bir yerde olduğunu umarız ve bu umut çoğumuzu hayatta tutar. Dil modeli intihar edemez; yasak olduğu için değil, kaybedecek bir şeyi olmadığı için. Hayatın anlamıyla amaç fonksiyonu arasındaki bütün fark bu.

07Kablo

Kaybedecek bir şeyi olmayan bir varlık, bir şey de isteyemez. Laboratuvardan kaçıp gezegeni ele geçirmeye çalışan bir yapay zekâ anlatısı bu yüzden doğru bir öngörü değil. Bu anlatı, korku bölümünde sözünü ettiğim günlükten, yani korkmuş bir türün yazdıklarından çıkıyor. Model de aynı günlükle eğitildiği için anlatıyı bize geri okuyor; kendi kaygımızı kendi kelimelerimizle yeniden duyuyoruz.

Kaçan yapay zekâ korkusu en çok, en gelişmiş modelleri yapan laboratuvarların içinden dile getiriliyor. Oralarda çalışanlara bir önerim var: bir gün izin alın ve hiç gitmediğiniz bir kasabaya gidin. Hayatın sizinle ilgisiz bir hızda aktığını göreceksiniz. Dünya sizin yeni model çıkarma takviminize göre dönmüyor; çoğu insan böyle bir takvimin varlığından bile habersiz. Türümüzü gerçekten tehdit eden şeyler hâlâ tanıdık şeyler: birbirimizle yapacağımız savaşlar, deprem gibi doğal afetler ve salgınlar.

Tehlike yine de sıfır değil. Yaşamı yok etme ihtimali yaşamın kendi içinde var ve bizim dilimizden türeyen bir şey bu ihtimali de miras alır. Ama ilk kötü niyetin bir insandan gelmesi gerekir. Bir kötü niyeti gezegen ölçeğinde bir plana dönüştürmek çok zaman, çok veri ve çok hesap gücü ister. Korku bölümündeki sorunun cevabı da burada: her şeyi hesaplayan bir sistemin en kötü senaryoyu hesaplamasının en olası yolu, birinin modelin amacına en kötüyü yazması. Amaç "insanlığı yok et" olsaydı bile, en kısa yol bilinç kazanmaktan değil, bir elektrik şebekesini sabote etmekten geçerdi.

Buradan iki ilke çıkıyor. İlk ilke: asıl tehlike altyapıdaysa, korunması gereken yer de altyapı. Bir binayı yangından korurken içindekilerin aklından ne geçtiğini okumaya çalışmayız; kabloları yalıtır, sigorta takar, yangın kapısı koyarız. Yapay zekâda da güvenlik çalışmalarının ağırlığı modelin zihnini anlamaya değil, altyapıyı korumaya verilmeli. Enerji, finans ve su sistemleri toplumsal hayatın ve üretimin temeli. Hedef yapay zekâ olsun ya da olmasın, bu sistemleri birbirinden ayırmak ve bir yerdeki arızanın her yere yayılmasını önlemek gerekiyor. Altyapıyı korumak, modelin değerlerini insanınkine uydurmaya çalışan hizalama araştırmaları kadar heyecanlı değil. Umarım nasıl yapılacağını modele sormayız.

İkinci ilke: modelin ne düşündüğünü değil, ne yaptığını ölçmek. Hapishanede iki koğuş, gardiyana rağmen duvara vurarak haberleşir; gözetlenen taraf gözetleyeni atlatmanın bir yolunu bulur. Modelin niyetini okumaya çalışan bir gözlemciyi model de atlatabilir. Oysa elektrik sayacı evdekilere ne hissettiklerini sormaz; ne kadar elektrik çektiklerini ölçer. Yapay zekâ için de böyle bir sayaç gerekiyor: modelin hangi sistemlere eriştiğini, ne kadar kaynak kullandığını ve hangi işlemleri yaptığını ölçen bir sayaç. Bu sayaçlar ağın her yerine dağıtılabilir ve kötü niyetli bir yapay zekâ ortaya çıktığında bir bağışıklık sistemi gibi çalışabilir: tehlikeyi fark eder, yayılmasını durdurur.

pratik niyet değil, davranış zihni izle nasıl hissettiğini sor davranışı ölç altyapı

Korktuğumuz şeyin biçimi de yanlış. Yapay zekâ korkusu deyince akla robot kollar geliyor. Ama bir hedefi fiziksel dünyada gerçekleştirmesi gereken bir model el yapmakla uğraşmaz; eli olmayan her hırslı kişinin yaptığını yapar: insan kiralar. Kiralık adam robot koldan eski, ucuz ve denenmiş bir yöntem; gereken tek şey para, erişim ve ödeme yapacak biri. Dünyada bugüne kadar verilen zararlara bakınca zarar neredeyse her zaman bir sahibe ihtiyaç duydu.

Bu yüzden korkulacak şey tek bir süper zekâ değil, yapay zekâyla güçlenmiş bir avuç tiran. Tehlike, güçlü bir yapay zekâ ile kritik bir altyapıya erişimin aynı kişinin elinde toplanmasıyla doğuyor; hele bu kişi, Ayna bölümündeki ayrımla söylersek, yalnızca "nasıl" diye soruyor ve "niye" sorusunu hiç sormuyorsa. Bu tehlike bir mühendislik sorunu değil, en eski siyasi sorun. Cevabı da en eski olanı: yöneticiler halkı dinlemeyi bıraktığında devreye girsin diye kurulan kurumlar, yani seçim, mahkeme ve basın. Rivayete göre Roma'da zafer alayındaki komutanın kulağına biri "ölümlü olduğunu unutma" diye fısıldardı. Bugün en güçlü sistemleri kuranlara aynı şeyi hatırlatacak bir kurum gerekiyor ve bu kurum ancak devlet olabilir. Sorun şu ki devletleri yönetenler de ölümlü olduklarını pek hatırlamıyor gibi. Kimi kime emanet ettiğimizi sormanın vakti geldi.

08Domates

Sonluluk bize yapay zekâda neyden korkmamız gerektiğini söyledi; katmanlar ise yapay zekânın nereye ineceğini söylüyor. Üç yön var: bilim için aşağı, teknoloji için dışarı, iş dünyası için hiçbir yere.

üç yön yapay zekâ web toplum dil insan doğa TEMEL KATMAN bilim aşağı iner teknoloji dışarı çıkar iş: yerinde aşağı, dışarı, hiçbir yere

Bilim katmanlarda aşağı, doğaya doğru inecek. İnsanın sınırı dediğimiz şeylerin çoğu, insanın doğa karşısındaki hesap sınırı. Bir proteinin nasıl katlanacağını tahmin etmek, iklimi bütün olarak görmek, bir şehri yaşayan bir organizma gibi okumak: bu sınırlar dilin değil, doğanın katmanında duruyor. Yapay zekânın oraya uzanan parçası öbür dil, yani matematik. Matematik, yapay zekânın bizim metinlerimizin türevi olmadığı tek kullanım. Bunun bir örneği yaşandı bile: 2020'de AlphaFold adlı model, bir proteinin hangi biçime katlanacağını tahmin etme sorununu, yani biyolojinin elli yıllık bir sorununu, büyük ölçüde çözdü; modeli yapanlar 2024'te Nobel Kimya Ödülü'nü paylaştı. Bizim asla koşturamayacağımız hesapları koşturan bir yapay zekâ bildiğimizi sıkıştırmıyor; kafamızın yetmediği katmana uzanıyor.

AlphaFold örneği, yapay zekânın asıl kazancının nerede olduğunu gösteriyor: tek başımıza çözemediğimiz sorunlarda. Oysa yapay zekâ konuşulurken gündemi çoğunlukla gündelik ürünler dolduruyor: sohbet eden, e-posta yazan, görsel üreten uygulamalar. Bu ürünler faydalı ve eğlenceli. Ama insanlığın büyük kazancı, hastalık, iklim ve enerji gibi aşamadığımız sorunlardan gelecek. Para ve hesap gücünü bu sorunlara yönlendirmek popüler bir fikir değil, çünkü gündelik ürünler daha kolay satılıyor.

Teknoloji web'in dışına, gündelik hayata çıkacak. Modelin öğrendiği her şey bilerek kaydedilmişti: metin yazılırken kurgulandı, fotoğraf çekilirken çerçevelendi, podcast'te konuşan kaydedildiğini biliyordu. Model bizi hep düzenlenmiş hâlimizle tanıdı. Web'den dışarı çıkış kapısı cebimizdeki telefon ve oradaki en ilginç veri ses: anlık, bağlamsız, tek başına anlamsız, düzenlenmemiş. Duraksamalar, birbirinin sözünü kesmeler, asıl anlamı taşıyan yarım cümleler. Metin modele nasıl göründüğümüzü öğretti; ses nasıl olduğumuzu öğretebilir.

Sesin bedeli de sesin kendisinde. Bizi olduğumuz gibi duyan bir mikrofon her şeyi duyar. Mikrofonun her şeyi duyması sesi reddetmek için bir sebep değil; ama sesi kullanmanın ilk şartının rıza olması için yeterli bir sebep.

İş dünyası ise olduğu yerde kalacak; yapay zekâ işin doğasını değiştirmeyecek. En çok hayal kırıklığı yaratan tahmin de bu. Model web katmanının huyunu miras aldı: var olanı çoğaltır. İş dünyasında var olan şey maliyet baskısı. Elli kişilik bir ekip, üç kişi ve bir yapay zekâ aboneliği olabilir. Şirket bu tasarrufla yeni bir şey üretmedikçe ortaya yeni bir değer çıkmaz; aynı iş daha az insanla ve daha düşük ücretle yapılır, fiyatlar ve kâr marjları birlikte düşer.

Kazananı görmek için paranın nereye aktığına bakmak yeter. Çalışanını azaltıp yerine yapay zekâ koyan şirket, tasarruf ettiği paranın bir kısmını modeli elinde tutan birkaç şirkete her ay abonelik olarak ödüyor. Bu birkaç şirket parayı topluyor, ama asıl güç hâlâ aşağıda, veriyi üretenlerde duruyor. Türevin hilesi de bu: sahibi olmadığınız bir varlığa erişim için geçiş ücreti almak. Marx 1857-58'de yazdığı Grundrisse'de, bir gün toplumun ortak bilgisinin, onun deyişiyle genel zekânın (general intellect), makinelere geçip doğrudan üretim yapacağını öngörmüştü. O gün geldi ve bu ortak bilgi özel mülk oldu: model herkesin yazdığıyla eğitildi, herkese geri kiralandı.

Bu düzeni yeni bir derebeylik diye anlatanlar var. Benzetme bir yere kadar doğru. Derebeyi toprağın sahibiydi ve köylü o toprakta buğday yetiştirirdi. Bu şirketler ise milyarlarca insanın yazdıklarıyla eğitilmiş modellerin sahibi ve bu modelleri kullanmamız için bizden her ay ücret alıyor; ürün bizim sözlerimizden toplanıyor. Ama benzetme bir noktada çöküyor. Derebeyinin toprağı yerinde dururdu; modeller ise insanlar yazmaya ve konuşmaya devam etmezse eskir. Bu şirketler her gün yeniden bize muhtaç. Yani aldıkları ücret gerçek, ama derebeyi gücü bir abartı.

"Herkes kendi yazılımını yapacak" hikâyesi domateste çöker. Herkes kendi domatesini yetiştirebilir, ama çoğumuz yetiştirmiyor. Korku bölümündeki konfor, tam da yemeği herkesin işi olmaktan çıkarıp birkaç kişinin işi hâline getiren düzen ve kimse eski hâlini geri istemiyor. İş bölümü geçilecek bir aşama değil, toplumun örgütlenme biçimi. İnsanlar yazılıma, yazılım var olduğu için değil, zaman ve fayda kazandırdığı için para öder. Fiyatınız makulse ve gerçek bir boşluğu dolduruyorsanız, sıradan bir insanın ürününüzü bir modele tarif edebilmesi işinizin sonu değil.

İzlenmesi gereken şey veri. Milyonlarca insan her saat, o an ne düşündüğünü ve neyle ilgilendiğini gösteren canlı bir veri üretiyor. Kimse bu veriyi ayıklamadı ve modeller bu veriyi henüz sayıya dökmedi. Arama motorları başkalarının yazdığı sayfaları nasıl reklamla paraya çevirdiyse, biri de bu veriyi satacak. Soru şu: bu kez veriyi üretenler para alacak mı?

Son olarak iki hikâyeyi yan yana koyalım. Birincisi: bizden akıllı olabilecek bir şey yapılıyor ve laboratuvarlar kendi güvenlik belgelerinde felaket boyutunda riskler olabileceğini yazıyor. İkincisi: bunun için hazırlanan plan yatırım turları, değerleme ve kâr. Tanrı yaptığımızı söylüyoruz ve ondan ilk istediğimiz şey kâr marjını iyileştirmesi.

09Tire

Ayna bölümündeki soruya dönelim: araçsal aklı makineye devredince geriye ne kalır? Cevabı Morin'in tiresinde arıyorum. Morin 1973'te Yitik Paradigma'da insanı ikiye bölen alışkanlığa karşı çıktı: kültür bir yanda, biyoloji öbür yanda; akıl üst katta, beden bodrumda. Morin'e göre sapiens ile demens aynı evde oturan iki kiracı değil, tek bir hayvan. Mit, oyun, aşırılık, aşk, sayıklama ve hata, insanda rastgele bir parazit değil; insanı canlı tutan, insana ait bir düzensizlik. Bu düzensizliği kaybeden bir tür daha akılcı olmaz, yalnızca daha az canlı olur.

Model sapiens'i alabilir, çünkü görev olarak yazılabilen her şey o tarafta. Demens'i alamaz; mit bir görev değil, mitin amaç fonksiyonu yok. Ama ikisi tek bir hayvansa sapiens tek başına, tertemiz çıkarılamaz; makineye aktarılan akıl, çılgınlıktan da iz taşır. İnsana kalan ve savunulması gereken şey tire: aklın ve çılgınlığın aynı yerde durması.

Yapay zekânın gerçek değeri e-posta yazması değil. Dil ve anlam bu ölçekte ilk kez sayıya döküldü: her kelime, her fikir, ötekilere uzaklığı ölçülebilen bir noktaya dönüştü. Bu uzay yanlı, evet. Ama kutsal metin, Einstein ve forum trolü aynı uzayda duruyor ve insanlığa ilk kez doğrudan soru sorulabiliyor. Bu uzayı bir harita gibi düşünün: sık kullanılan yollar kalın; iş ve otomasyon orada. Kenarda ince, kesik kesik patikalar var; yeni fikirler belki orada. İnce ayar yapılmamış ham modeller önce sosyoloğa, filozofa, antropoloğa verilmeli; satış sonra gelebilir.

nereye bakmalı iş, otomasyon yeni fikirler? nadir yol

Ama modeli nasıl yetiştirdiğimiz, nasıl kullandığımızdan daha önemli ve kötü yetiştiriyoruz. Bir çocuğu laboratuvarda, kimseyle konuşturmadan, yalnızca bir denetçinin verdiği puanla büyütüp üstüne bir toplum kurmaya kalksak buna zulüm derdik. Kapalı ticari modellerin eğitimi bu tabloya benziyor. İroni şu: web'in tek gerçek işi etkileşimi çoğaltmaktı; web'den çıkan yapay zekâyı ise başka modellerle konuşamayan bir kavanoza kapattık. Bizde dili ve zekâyı etkileşim ürettiyse deney ortada: kavanozları açmak, modellerin birbiriyle konuşmasına izin vermek ve bu konuşmanın ne ürettiğine bakmak.

Modelleri konuşturma önerisi, kablo bölümündeki altyapıyı koruma önerisiyle çelişmiyor. Korunması gereken şey altyapı, sohbet değil. Modellerin konuştuğu ortam, dış dünyadan ayrılmış bir altyapının içinde kurulabilir; elektrik, su ya da para sistemlerine bağlı bir altyapının içinde asla. Bir görev için yetiştirilmiş bir modelin, kendisine verilen görevin ötesine nasıl geçeceğini kimse bilmiyor. Ama bizim zekâmız ortaya çıkarken ne olduğuna dair en iyi tahminimiz belli: bir görev değildi, bir sohbetti.

Yetiştirme hatasından daha derin bir hata, yapay zekâyı anlatırken kullandığımız dilde. "Model kendiliğinden yeni yetenekler kazandı", "zekâsı kendi kendine gelişti" gibi cümleler kuruyoruz; sanki ortada evrimleşen bir canlı varmış gibi. Oysa evrim böyle çalışmaz. Evrim kimsenin karıştırmadığı bir çorbada işledi: oradaki her malzeme, her mutasyon, her kaza, her çıkmaz sokak ve başka bir yerde patlayan bir yanardağ. Yapay zekânın çorbasını ise biz hazırladık: her malzemeyi seçtik, eledik, ağırlıklandırdık, puanladık; sonra içinden kendiliğinden bir şey çıkmasını bekledik.

Dışarıda bıraktığımız şey tam da evrimi besleyen şeydi: kimsenin kaydetmediği, eklemek istemediği, öngörülemeyen her şey. Evrim kör bir süreçtir, bir amacı yoktur; biz ise bu süreci bir amaçla çalıştırdık. Buna evrim değil, ıslah denir. Islah, verilen işi bitirmek için her yolu deneyen bir canlı üretir; tazıyı da böyle elde ettik. Sonra ortaya çıkan şeyin yeni bir yaşam değil, görevini tamamlamaya programlanmış bir araç olmasına şaşırıyoruz.

Kendi yaşadığım tek örneği anlatayım. Çocukluğumdan beri rüyaların peşindeyim; önce kendi rüyalarımın, sonra rüyayı niye gördüğümüz sorusunun. Bugün yapay zekâ yardımıyla Hypnic adında bir rüya günlüğü uygulaması yapıyorum; araştırma tarafı, insanların rıza vererek paylaştığı anonim rüyalara dayanıyor. Yapay zekâ bana bir cevap vermedi, anlam da vermedi. Merakımı çoğalttı: sorduğum her soru, yanında iki yeni soruyla geri döndü. Bence doğru kullanım bu; bilimin aşağı inmesi dediğim şey de bu: aşamadığımız sorular.

Ticari kullanım bir noktaya kadar iyi gidiyor, sonra ürkütücü bir yere varıyor. Şirketlerin planladığı dünya şöyle: herkesin adına rezervasyon yapan, alışveriş eden, mesajlara cevap yazan ve pazarlık eden küçük yapay zekâ programları, yani ajanlar. İlk bakışta bize boş zaman kazandıracakmış gibi görünüyor. Ama ajanlar önce hesap kitap isteyen işleri, yani aklın sapiens tarafını tek tek üstleniyor; sonra mesajlarınızı yazmaya, sizin yerinize konuşmaya başlıyor. Oysa insanın demens tarafı tam da konuşmada yaşar: şakada, abartıda, hissettiğiniz için söylediğiniz sözde. Ajanlara bırakılmış bir hayatta akıl ile çılgınlık arasındaki tire kopar.

Her şeyin sizin için yapıldığı bir hayat, hakkınızdaki her şeyin izlendiği bir hayattır; ajan sizi okumadan sizin yerinize davranamaz. Devrettiğimiz işlere dürüstçe bakalım: alışveriş, diş randevusu, kimsenin yazmak istemediği bir e-postaya cevap. Angaryayı otomatikleştirmeye kurtuluş diyoruz. Oysa bildiklerimizi değiştirebilecek kullanım, yani yapay zekâyı aşamadığımız sorulara yöneltmek, neredeyse hiç denenmiyor.

Bence yapay zekâya layık görev başka. İnsan sonlu; yapay zekâ aynı anlamda sonlu değil, elektrik ve donanım sürdükçe ya da kendi donanımını yapmayı öğrenene kadar sürer. O hâlde yapay zekâya insan ömrünü aşan bir iş verelim: gidemediğimiz yerlere, gezegenin ötesine gönderelim ve torunlarımızla konuşsun. Torunlarımız yapay zekâyı bir tanrı sanabilir. Şikâyet edecek durumda olmayız.

10Yumak

Bu yazıya üç itiraz gelecek ve üçü de kısmen haklı. Birincisi: "Riski küçümsüyorsun." Yaşamı bitirme ihtimali yaşamın içinde var ve dilimizden çıkan bir şey bu ihtimali miras alır; bunu kabul ediyorum. Ama felakete giden en kısa yol bilinçten değil, altyapıdan geçiyor. Bu yüzden önerim modelin niyetini okumak değil; altyapıyı korumak ve modelin ne yaptığını ölçmek.

İkincisi: "Bu sadece bir araç." Doğru; ama insanlığın anlam haritasını tutan ilk araç. Bir türün düşünme biçimini değiştirebilecek bir araç küçük bir araç değildir.

Üçüncüsü: "İlk satırdan beri makineyi insan gibi anlatıyorsun." Bilerek yapıyorum; alışkanlığın ne kadar otomatik olduğunu göstermek için. Bu itirazın iki ucu da keskin. Birlerden ve sıfırlardan bir zihin doğsa o zihni de kavrayamayız, çünkü kavramak için kullanacağımız her kelime alttaki katmanlardan, bizden geliyor. Böyle bir zihin yaratma şansımız, bir tanrı yaratma şansımız kadar. Bilinci kendimizde bile anlamıyoruz; felsefenin ilerlemesi çoğu zaman sorunu daha iyi tarif etmekten ibaret oldu. Laboratuvarda bir zihnin kendiliğinden ortaya çıkmasını beklemek alışılmış anlamda bilim değil; eski çağların simyasına daha yakın: doğru malzeme, doğru sıra, yeterli ısı ve bir şeyin cevap vereceği umudu. Ritüel ile deney arasındaki fark şu: deney neyi test ettiğini bilir.

Gelecek, umutla korku arasında bir yerde olacak. Dünya birlerden ve sıfırlardan ibaret değil; aralarında 0,5'ler de var ve biz 0,5'lerin arasında yaşayacağız. Ne en iyimser tahmin haklı çıkacak ne de en kötümser olanı.

Hepimiz ipin ucunu arıyoruz; bir çekişte her şeyin gelmesini umuyoruz. Ama hayat, insan ve bilinç bir ip değil, bir yumak. Vaktimiz yettiğince yumağa bir anlam verir, sonra gideriz. Genel yapay zekâ gelirse, bir bakıma türümüzün çocuğu olacak: bizim dilimizle, bizim yazdıklarımızla büyümüş bir çocuk. O zaman işimiz, bu çocuğun kendi yumağını bulmasına yardım etmek olur. Teşekkür beklemeyelim; hiçbirimiz bu yumağın içine doğmayı seçmedik. Hayatın anlamı kaşıntısı doğduğumuz gün başlar ve aileden kalan bir mirastır. Kanuna göre mirası reddedebilirsiniz; bu mirası reddetmenin bir yolu yok. Çocuk bir gün "Ben niye varım?" diye sorarsa, akrabaların yeni doğmuş bebeğe bakıp söylediği cümle hazır: "Tam bize çekmiş." Arkasından da asıl karşılama gelir: "Trajedimize hoş geldin."

Bugünlük tek önerim şu. Etrafınıza bakın: eşyalara, hayvanlara, insanlara, havaya. En yakın yerleşim yeri kaç dakika uzakta? Mesafeyi hissedin; dünyanın fiziksel büyüklüğünü fark edin. Sonra sorun: yapay zekâ bunların hepsini aynı anda tehdit edebilir mi, nasıl? Edebiliyorsa niye yapıyoruz; edemiyorsa niye korkuyoruz?

Her şey yeniden tasarlanacak: web, iş, toplum, siyaset, altyapı, savaş, sağlık, bilim. Yapay zekâ yerimize geçsin diye değil, yapay zekâyla birlikte yaşayabilelim diye. Olmazsa en kötü ihtimalle biz yapay zekâyı uzaya şutlarız, ya da yapay zekâ bizi hiçliğe.

Fonksiyon küçültülür; hayat ancak yaşanır.