OpenAI, ChatGPT dahil olmak üzere yapay zeka tarafından oluşturulan metni algılamak için bir araç yayınladı • Tmzilla

Medya görünümlerindeki hareketi telgrafla bildirdikten sonra, OpenAI, şirketin kendi ChatGPT ve GPT-3 modelleri tarafından üretilen metin gibi, insan tarafından yazılan ve yapay zeka tarafından oluşturulan metin arasında ayrım yapmaya çalışan bir araç başlattı. Sınıflandırıcı özellikle doğru değil – başarı oranı %26 civarında, OpenAI belirtiyor – ancak OpenAI, diğer yöntemlerle birlikte kullanıldığında, AI metin oluşturucularının kötüye kullanılmasını önlemeye yardımcı olabileceğini savunuyor.

“Sınıflandırıcı, AI tarafından oluşturulan metnin bir insan tarafından yazıldığına dair yanlış iddiaları hafifletmeyi amaçlıyor. Bununla birlikte, yine de bazı sınırlamaları var – bu nedenle, birincil karar verme aracı olmak yerine metnin kaynağını belirlemenin diğer yöntemlerini tamamlayıcı olarak kullanılmalıdır, “dedi bir OpenAI sözcüsü Tmzilla’a e-posta yoluyla. “Bunun gibi araçların yararlı olup olmadığı konusunda geri bildirim almak için bu ilk sınıflandırıcıyı kullanıma sunuyoruz ve gelecekte iyileştirilmiş yöntemleri paylaşmayı umuyoruz.”

Üretici AI – özellikle metin üreten AI – etrafındaki coşku arttıkça, eleştirmenler bu araçların yaratıcılarını potansiyel olarak zararlı etkilerini azaltmak için adımlar atmaya çağırdı. ABD’nin en büyük okul bölgelerinden bazıları, öğrencilerin öğrenimi üzerindeki etkilerinden ve aracın ürettiği içeriğin doğruluğundan korkarak ChatGPT’yi ağlarında ve cihazlarında yasakladı. Yığın Taşması dahil siteler, yapay zekanın kullanıcıların tartışma başlıklarını şüpheli yanıtlarla doldurmasını çok kolaylaştırdığını söyleyerek, kullanıcıların ChatGPT tarafından oluşturulan içeriği paylaşmasını yasakladı.

OpenAI’nin uygun bir şekilde OpenAI AI Metin Sınıflandırıcısı olarak adlandırılan sınıflandırıcısı, mimari açıdan ilgi çekicidir. ChatGPT gibi, web’den herkese açık birçok metin örneği üzerinde eğitilmiş bir AI dil modelidir. Ancak ChatGPT’den farklı olarak, bir metin parçasının yalnızca ChatGPT’den değil, herhangi bir metin üreten AI modelinden yapay zeka tarafından oluşturulma olasılığını tahmin etmek için ince ayar yapılmıştır.

Daha spesifik olarak, OpenAI, OpenAI AI Metin Sınıflandırıcısını, OpenAI’nin kendisi de dahil olmak üzere beş farklı kuruluştan 34 metin üreten sistemden metin üzerinde eğitti. Bu metin, Wikipedia’daki benzer (ancak tam olarak aynı olmayan) insan yazısı metinle, Reddit’te paylaşılan bağlantılardan çıkarılan web siteleriyle ve önceki bir OpenAI metin oluşturma sistemi için toplanan bir dizi “insan gösterimi” ile eşleştirildi. (Bununla birlikte OpenAI, bir destek belgesinde, “İnternette yapay zeka tarafından üretilen içeriğin çoğalması göz önüne alındığında” yapay zeka tarafından yazılmış bazı metinleri istemeden insan tarafından yazılmış olarak yanlış sınıflandırmış olabileceğini kabul ediyor.)

OpenAI Metin Sınıflandırıcı, daha da önemlisi, herhangi bir metin üzerinde çalışmaz. En az 1.000 karakter veya yaklaşık 150 ila 250 kelime gerektirir. İntihal tespit etmez – özellikle talihsiz bir sınırlama, metin üreten yapay zekanın üzerinde eğitildiği metni kustuğunun gösterildiği düşünülürse. Ve OpenAI, İngilizce ileriye dönük veri seti sayesinde, çocuklar tarafından yazılan metinlerde veya İngilizce dışında bir dilde yanlış anlama olasılığının daha yüksek olduğunu söylüyor.

Dedektör, belirli bir metin parçasının yapay zeka tarafından üretilip üretilmediğini değerlendirirken cevabını biraz korur. Güven düzeyine bağlı olarak, metni “çok olası değil” yapay zeka tarafından üretilmiş (%10’dan az bir şans), “olası değil” yapay zeka tarafından oluşturulmuş (%10 ile %45 arasında bir şans), “belirsiz olup olmadığı belirsiz” olarak etiketler. Yapay zeka tarafından üretilen (%45 ila %90 şans), “muhtemelen” yapay zeka tarafından oluşturulan (%90 ila %98 şans) veya “muhtemel” yapay zeka tarafından oluşturulan (%98’in üzerinde bir şans).

Merakımdan, nasıl idare edebileceğini görmek için sınıflandırıcıya bazı metinler verdim. Meta’nın Horizon Worlds’ü hakkındaki bir Tmzilla makalesinden birkaç paragrafın ve bir OpenAI destek sayfasından bir parçacığın yapay zeka tarafından oluşturulmadığını kendinden emin ve doğru bir şekilde tahmin etse de, sınıflandırıcı ChatGPT’den gelen makale uzunluğundaki metinle daha zor zamanlar geçirdi ve sonunda onu sınıflandırmayı başaramadı. tamamen. Bununla birlikte, bir Gizmodo parçasından ChatGPT çıktısını başarıyla tespit etti – başka ne hakkında? — ChatGPT.

OpenAI’ye göre, sınıflandırıcı insan tarafından yazılmış metni yanlış bir şekilde zamanın %9’unda yapay zeka tarafından yazılmış olarak etiketliyor. Testlerimde bu hata olmadı, ancak bunu küçük örneklem boyutuna bağlıyorum.

OpenAI metin sınıflandırıcı

Görsel Kaynakları: OpenAI

Pratik düzeyde, sınıflandırıcıyı daha kısa yazı parçalarını değerlendirmek için özellikle yararlı bulmadım. 1.000 karakter, mesajlar alanında, örneğin e-postalarda (en azından düzenli olarak aldıklarımda) ulaşılması zor bir eşiktir. Ve sınırlamalar duraklama sağlar – OpenAI, oluşturulan metindeki bazı sözcükleri veya yan tümceleri değiştirerek sınıflandırıcıdan kaçınılabileceğini vurgular.

Bu, sınıflandırıcının yararsız olduğu anlamına gelmez – ondan çok uzaktır. Ancak, kararlı dolandırıcıları (veya bu nedenle öğrencileri) mevcut haliyle kesinlikle durdurmayacaktır.

Soru şu ki, diğer araçlar olacak mı? Yapay zeka tarafından üretilen metin dedektörlerine olan talebi karşılamak için küçük ev endüstrisi gibi bir şey ortaya çıktı. Bir Princeton Üniversitesi öğrencisi tarafından geliştirilen ChatZero, metnin AI ile yazılmış olup olmadığını tespit etmek için “şaşkınlık” (metnin karmaşıklığı) ve “burstiness” (cümlelerin varyasyonları) gibi kriterleri kullanır. İntihal detektörü Turnitin, yapay zeka tarafından oluşturulmuş kendi metin detektörünü geliştiriyor. Bunların ötesinde, bir Google araması, metafora eziyet etmek için yapay zeka tarafından üretilen buğdayı insan tarafından üretilen samandan ayırabileceğini iddia eden en az yarım düzine başka uygulama sunar.

Muhtemelen bir kedi-fare oyununa dönüşecek. Metin üreten yapay zeka geliştikçe, algılayıcılar da gelişecek — siber suçlular ve güvenlik araştırmacıları arasındakine benzer, hiç bitmeyen bir ileri geri. Ve OpenAI’nin yazdığı gibi, sınıflandırıcılar belirli durumlarda yardımcı olabilirken, metnin yapay zeka tarafından üretilip üretilmediğine karar vermede asla güvenilir tek kanıt olmayacaklar.

Yapay zeka tarafından üretilen metinlerin ortaya çıkardığı sorunları çözecek sihirli bir değnek olmadığını söylemek için hepsi bu kadar. Büyük olasılıkla, asla olmayacak.

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir