Elon Musk’ın kurduğu OpenAI yeni bir dil geliştirdi. Bu dil, tutarlı metin paragrafları üretiyor, birçok dil modelleme kriterinde son teknoloji performansa ulaşan ve temelsiz okuma anlama, makine çevirisi, soru cevaplama ve özetleme yapan büyük ölçekli denetimsiz bir dil model.
GPT-2 olarak adlandırılan model, bir sonraki kelimeyi 40 GB’lık İnternet metninde tahmin etmek için eğitilmiş. Teknolojinin kötü amaçlı kullanılma ihtimaline karşı şirket, modeli şu an serbest bırakmıyor. Yapılan açıklamada bir deney olarak, bunun yerine araştırmacıların deneyecekleri teknik bir makale için daha küçük bir model yayınladılar.
GPT-2, bir veri kümesi üzerinde eğitilmiş, 1,5 milyar parametreli, büyük bir trafo tabanlı dil modeli. İnternetten içerik kazınarak, içerik çeşitliliğini vurgulayan yeni bir veri seti oluşturulmuş ve doküman kalitesini korumak için de sadece insanlar tarafında filtrelenen sayfalar kullanılmış. Reddit’ten en az 3 karma alan giden bağlantılar kullanılmış.
GPT-2 basit bir amaç için eğitilmiş o da bir önceki kelimenin tümünü bir metin içinde verilen bir sonraki kelimeyi tahmin etmek. GPT-2, 10 kattan daha fazla parametreye sahip ve 10 kattan daha fazla veri konusunda eğitilmiş bir GPT ölçeği.
Ayrıca GPT-2, kaliteli ve koşullu sentetik metin örnekleri üretme kabiliyeti de dahil olmak üzere geniş bir yeteneklere sahip. GPT-2’nin, bu etki alanına özgü eğitim veri setlerini kullanmaya gerek kalmadan belirli alanlarda (Vikipedi, haberler veya kitaplar gibi) eğitilmiş diğer dil modellerinden daha iyi performans göstereceği iddia ediliyor. Soru cevaplama, okuduğunu anlama, özetleme ve çeviri gibi dil görevlerinde, göreve özel eğitim verisi kullanmaksızın bu metinleri ham metinden öğrenmeye başlayabiliyor.
OpenAI, yayınladığı açıklamada yapılan test ve analizlerde modelin insan kalitesine yakın hissedilen ve bir sayfa veya daha fazla metin üzerinde tutarlılık gösteren çeşitli istemlerden örnekler üretme yeteneğine sahip olduğunun gözlemlendiğini yazdı. Ayrıca modelde, tekrarlayan metinler, dünya modellemesi başarısızlıkları (model bazen su altında gerçekleşen yangınlar hakkında yazıyor) ve doğal olmayan konu değişimi gibi çeşitli arıza modları gözlemlenmemiş.
Genel olarak, modelin bağlamla ne kadar aşina olduğuna bağlı olarak denemelerin sayısıyla birlikte, iyi bir örnek almak birkaç deneme yapmak gerekebiliyor. Verilerde yüksek oranda temsil edilen konular sorulduğunda (Brexit, Miley Cyrus, Yüzüklerin Efendisi, vb.), zamanın yaklaşık% 50’sine makul örnekler üretebilecek gibi görünüyor olsa da yüksek teknik veya ezoterik içerik türlerinde model yetersiz performans gösterebiliyor.
