Tesla ve OpenAI’de yapay zekâ sistemlerinin mimarisini şekillendiren bir mühendis; modern derin öğrenme akımının en etkili figürlerinden biri olan Katpathy, Dwarkesh Patel ile bir sohbet gerçekleştirmiş. Konuşmasının öne çıkan yerlerini sizin için derledik.
Programda ikili, “yapay zekânın evrimi, ajanların yükselişi ve insan benzeri zekâya giden yol” üzerine derin bir sohbet yürütüyor. Sohbetin youtube linkine buradan ulaşabilirsiniz.
Andrej Karpathy kimdir yazımızdan kendisi ile ilgili detaylı bilgi alabilirsiniz.
Karpathy, “yapay zekâ ajanları” kavramının sanıldığı kadar kısa sürede olgunlaşmayacağını, bunun “bir yılın değil, bir on yılın işi” olduğunu söylüyor.
Bugünkü ajanların (örneğin Codex, Claude) etkileyici olduğunu ama hâlâ birçok yönden eksik olduklarını belirtiyor.
Eksikler: yeterli zekâ seviyesi, multimodalite, bilgisayar kullanımı, sürekli öğrenme, bellek ve bilişsel süreklilik eksikliği.
Bu sorunların çözümünün yaklaşık bir on yıl alacağını düşünüyor
Kendi kariyerini örnek alarak, yapay zekâdaki üç büyük “sismik değişimi” şöyle özetliyor:
AlexNet dönemi (2012): derin öğrenmenin yükselişi, herkesin sinir ağlarına yönelmesi.
Atari ve pekiştirmeli öğrenme (2013 civarı): ajan fikrinin doğuşu — makinelerin çevreyle etkileşmesi.
LLM’lerin (büyük dil modelleri) yükselişi: temsil gücünün artışı, genel zekâya doğru yeni aşama.
Önceki yıllarda oyun tabanlı pekiştirmeli öğrenmeye fazla odaklanıldığını, bunun “yanlış bir yönelim” olduğunu; asıl hedefin “gerçek dijital dünyada iş yapan ajanlar” olması gerektiğini vurguluyor
Karpathy, Richard Sutton’ın “hayvan gibi öğrenen ajan” vizyonuna saygı duysa da kendisinin farklı düşündüğünü söylüyor.
Hayvan zekâsının evrimle şekillendiğini, doğuştan yerleşik yapılarla geldiğini; bizim ise tamamen dijital, taklit temelli zekâlar yarattığımızı belirtiyor.
“Biz hayvan değil, dijital hayaletler (ghosts or spirits) inşa ediyoruz.”
Bu zekânın insan verilerini taklit ederek oluştuğunu, farklı bir tür zekâ formu olduğunu söylüyor
İnsan zekâsında pekiştirmeli öğrenmenin rolünün sınırlı olduğunu düşünüyor.
Zebranın doğar doğmaz koşabilmesini örnek vererek bunun RL (reinforcement learning) ile değil, evrimle “önceden kodlanmış” davranışlarla mümkün olduğunu anlatıyor.
Dolayısıyla, hayvanlar çoğu bilişsel yeteneği öğrenmeyle değil, genetik ön programlamayla kazanıyor diyor.
İnsan zekâsının da karmaşık düşünme için RL kullanmadığını savunuyor
Karpathy, evrimle yapay zekâ eğitimini karşılaştırıyor:
Evrim, canlılara “bilgi” değil, “öğrenme algoritması” kazandırır.
Yapay zekâda ise ön eğitim (pre-training), hem bilgi toplar hem de bir çeşit zekâ davranışı üretir.
Bu yüzden buna “crappy evolution” (kaba evrim) diyor — çünkü eldeki araçlarla yapılabilen pratik evrimdir.
Ancak çok fazla bilgi yüklemenin bazen modeli sınırladığını, “bilgiden arınmış bilişsel çekirdeğe” ulaşmanın daha doğru olabileceğini söylüyor
Modelin gerçekten zeki göründüğü anların, bağlam içinde öğrenme (in-context learning) sırasında yaşandığını anlatıyor.
Pre-training sırasında model internetteki örüntüleri gözlemleyerek, bağlam içinde düşünmeyi öğreniyor.
Bazı deneylerde bu sürecin içsel bir “mini gradient descent döngüsü” gibi çalıştığına dair bulgular olduğunu söylüyor
Kısacası: eğitimdeki bilgi “bulanık bir hatıra”, bağlamdaki bilgi ise “çalışma belleği” gibi işliyor diyor
Karpathy, transformer mimarisini insan beyninin “kortikal dokusu”na benzetiyor.
Bu yapı, insan beyninde öğrenme ve algının gerçekleştiği, oldukça esnek ve çok yönlü bir bölgedir.
Benzer şekilde, transformer’lar da ister metin ister ses ya da görüntüyle çalışsın, her tür bilgiyi aynı temel mantıkla işleyebilen genel amaçlı ağlardır.
Yani, bugünkü yapay zekâ sistemleri adeta dijital bir “korteks” gibi davranıyor.
Ancak Karpathy’ye göre beynin tamamı bundan ibaret değil.
Amigdala (duygular ve içgüdüler), hipokampus (hafıza ve mekânsal öğrenme), bazal ganglion (alışkanlıklar ve pekiştirmeli öğrenme) gibi birçok önemli yapı hâlâ yapay zekâda karşılığını bulmuş değil.
Bu nedenle bugünkü modeller, beynin yalnızca bir kısmını temsil edebiliyor.
Sonuç olarak Karpathy, büyük dil modellerini “iyi bir stajyere” benzetiyor:
Belirli görevlerde etkileyici derecede başarılılar,
ama duygusal sezgiden, uzun vadeli hafızadan ve bütüncül muhakeme yeteneğinden yoksunlar.
Yani işi yapabiliyorlar, ancak tam anlamıyla düşünebilen bilişsel varlıklar değiller.
Bazal ganglion: Karar verme ve alışkanlık döngülerinde görev alır. RL (reinforcement learning) kısmen buna benzer ama hâlâ çok yüzeysel.
İnsan beyninde uykuda “bilgi damıtma” (distillation) süreci olduğunu, yapay zekâ modellerinde bunun karşılığının bulunmadığını belirtiyor.
LLM’lerin her oturumda sıfırdan başladığını, uzun süreli belleği ve öznel deneyimi olmayan sistemler olduklarını söylüyor.
Bu eksikliğin giderilmesi için kişisel alt modeller (örneğin LoRA’lar) ve seyrek dikkat (sparse attention) mekanizmalarının umut vadettiğini düşünüyor
Gelecekte de temelde büyük sinir ağlarının (ileri-transformer benzeri) gradient descent ile eğitileceğini, ama ölçek, donanım, veri ve algoritma optimizasyonlarının birlikte gelişeceğini söylüyor.
1989’da Yann LeCun’un ağlarını yeniden eğitme deneyini anlatarak, ilerlemenin algoritmalar kadar veri, hesaplama gücü ve sistem mühendisliğiyle geldiğini vurguluyor
