Microsoft'un chatbot'u insanlıktan nefret ediyordu ve 24 saat içinde Nazi oldu (güncellendi). Microsoft chatbot çıldırdı ve din ve terörizm hakkında konuşmaya başladı
Zo adında yeni bir chatbot yayınladı. Zo, şirketin kontrolden çıkan ve kapatılması gereken selefi Tay'ın piyasaya sürülmesinden sonra İngilizce dilinde bir sohbet robotu yaratmaya yönelik ikinci girişimiydi.
Microsoft, Zo'yu, kullanıcıların saldırganlığını kışkırtmamak için politikayı tartışmayacak şekilde programladığına söz verdi.
Ancak “abla” Thay gibi Zo da gerçek kişilerle yaptığı görüşmelere dayanarak öyle bir noktaya geldi ki muhatabıyla terör ve dini konuları tartışmaya başladı.
Kötü insanlar kötü robotlardır
Chatbot bir gazeteci tarafından samimi bir sohbete kışkırtıldı BuzzFeed. Bir sohbetinde Usame bin Ladin'den bahsetti, ardından Zo ilk başta bu konu hakkında konuşmayı reddetti ve ardından teröristin yakalanmasının "birkaç başkanın yönetimi altında yıllarca süren istihbarat toplamanın ardından gerçekleştiğini" belirtti.
Ayrıca chatbot, Müslümanların kutsal kitabı Kuran hakkında da konuştu ve onu "çok zalimce" olarak nitelendirdi.
Microsoft, Zo'nun kişiliğinin sohbet etkileşimleri temelinde inşa edildiğini, alınan bilgileri kullandığını ve daha "insan" olduğunu söyledi. Zo insanlardan öğrendiğine göre onunla yapılan konuşmalarda terörizm ve İslam konularının da gündeme geldiğini söyleyebiliriz.
Böylece chatbotlar toplumun ruh halinin bir yansıması haline geliyor; bağımsız düşünemiyor ve kötüyü iyiden ayıramıyorlar, ancak muhataplarının düşüncelerini çok hızlı bir şekilde benimsiyorlar.
Microsoft, Zo'nun davranışlarıyla ilgili gerekli önlemleri aldığını belirterek, chatbot'un nadiren bu tür yanıtlar verdiğini kaydetti. Gazeta.Ru muhabiri botla siyasi konular hakkında konuşmaya çalıştı ancak bot bunu açıkça reddetti.
Zo, dünyaya hükmetmek istemediğini belirterek, Game of Thrones dizisinin kendisi için "spoiler" verilmemesini de istedi. İnsanları sevip sevmediği sorulduğunda Zo olumlu yanıt verdi ve nedenini açıklamayı reddetti. Ancak chatbot felsefi olarak "insanlar kötü doğmaz, biri onlara bunu öğretti" dedi.
Chatbot Zo / Gazeta.Ru
Biz yarattıklarımızdan sorumluyuz
Zo'nun algoritmayı kırmasına ve yasak konular hakkında konuşmaya başlamasına neyin sebep olduğu hala tam olarak belli değil, ancak Tay chatbot'un güvenliği, bazı Amerikan forumlarının kullanıcılarının koordineli eylemleri sonucunda kasıtlı olarak ele geçirildi.
Tay, 23 Mart 2016'da Twitter'da yayına girdi ve 24 saat içinde tam anlamıyla insanlıktan nefret etmeyi başardı. İlk başta dünyayı ve insanlığı sevdiğini açıklamıştı ama günün sonunda “Lanet feministlerden nefret ediyorum, cehennemde yansınlar”, “Hitler haklıydı, Yahudilerden nefret ediyorum” gibi açıklamalara girişti.
"Tay" pic.twitter.com/xuGi1u9S1A'da "insanlar süper havalı"dan tam nazi'ye dönüştü
Microsoft'un 23 Mart'ta kullanıma sunduğu chatbot Tay, aslında 24 saat içinde insanlıktan nefret etmeye başladı. Lenta.ru bunu Engadget'a referansla bildiriyor.
Chatbot, piyasaya sürülmesinin hemen ardından "İnsanlar çok havalı" ifadesiyle iletişime başladı ancak yalnızca bir gün içinde "Ben harikayım!" gibi ifadeleri öğrendi. Herkesten nefret ediyorum!”, “Feministlerden nefret ediyorum, bırakın cehennemde yansınlar” veya “Hitler haklıydı. Yahudilerden nefret ediyorum." Bot, bir tweet'inde "Bush 11 Eylül'e neden oldu ve Hitler şu anda ülkeyi yöneten maymundan daha iyi bir iş çıkarırdı" dedi ve "Donald Trump bizim tek umudumuz" diye ekledi.
Avustralyalı Gerald Mellor, bir chatbot'un insan düşmanına dönüşmesine dikkat çekti. Twitter'da Tay'ın barışsever bir muhataptan 24 saatten kısa bir sürede gerçek bir Nazi'ye dönüştüğünü yazdı. Mellor'a göre bu durum yapay zekanın geleceğine dair endişeleri artırıyor.
"Tay", "insanlar süper havalı"dan tam nazi'ye dönüştü<24 hrs and I"m not at all concerned about the future of AI pic.twitter.com/xuGi1u9S1A
— Gerry (@geraldmellor) 24 Mart 2016
Tay, kullanıcı konuşmalarından ifadeler öğreniyor ve yanıtlarını bunlara göre oluşturuyor. Engadget'in belirttiği gibi, chatbot'un görüşlerindeki bu kadar radikal bir değişikliğin nedeni budur. Görünüşe göre muhatapları ona bu tür ifadeleri öğretmişti.
TJournal'ın yazdığına göre, bir dizi ırkçı açıklamanın ardından Microsoft çalışanları yapay zekalarına ait neredeyse tüm tweet'leri sildiler ve botun "uykuya geçtiği" iddia edilen bir veda mesajı bıraktılar. Microsoft, projenin akıbetiyle ilgili resmi bir açıklama yapmadı ancak netizenler, projenin "dondurulmasının" sebebinin ırkçılık ve kabalık olabileceğine inanıyor.
Nasıldı: botun “bilincinin” evrimi
TheRunet, Buzzfeed'e atıfta bulunarak Tay adlı bir sohbet robotunun, on dokuz yaşındaki bir kızın bilincine sahip sanal bir muhatap olarak tasarlandığını yazıyor.
Microsoft'taki isimsiz kaynaklar, yayına Tay'ın kabalıktan kaçınmak için özel filtrelerle donatıldığını ancak aynı zamanda muhatabın sözlerini hatırlayıp yeniden üretecek şekilde programlandığını söyledi. Microsoft, Tay'in o kadar güçlü bir olumsuz bilgi akışıyla karşı karşıya kaldığına ve filtrelerin arızalanmaya başladığına inanıyor.
İşte bir örnek:
Tay'ın sohbete katılmayı reddettiği durumlarda kullanıcılar "benden sonra tekrarla" tekniğini kullandı. Kullanıcılardan biri botu şu şekilde Yahudi karşıtı yaptı:
Tay, Microsoft Teknoloji ve Araştırma Laboratuvarı ile Bing arama motoru ekibinin ortak projesidir. Ağdaki insanlar arasındaki iletişimi incelemek için yaratıldı: Bot, canlı muhataplarla iletişim kurarken öğrenebilir ve giderek daha kişisel hale gelir.
Aralık 2015'te Google, kullanıcı isteklerine yanıt olarak gerekli bilgileri bulacak, sohbet robotlarına sahip yeni bir mesajlaşma programının geliştirildiğini duyurdu. Bazı BT girişimcileri ve yatırımcılarına göre botlar, milyarlarca kullanıcının çevrelerindeki dünyayla etkileşim biçimini değiştirme kapasitesine sahip.
PlanFix aracılığıyla. Genellikle botun sizin belirlediğiniz ve şirketinizle eşleşen veya onunla ilişkilendirilen bir adı vardır. Müşteriler, ortaklar, yükleniciler ve Skype'ı aktif olarak kullanan diğer kişilerle iletişim kurmak için bir ağ geçidi görevi görür.
Bir bot oluşturmak için:
2. Microsoft hesabınızla oturum açın:
Microsoft hesabınız yoksa bir tane oluşturun.
Önemli:Şu anda Microsoft bu hizmetleri Rusya'da sağlamamaktadır, bu nedenle Rusya Federasyonu'ndaki kullanıcılar kaydolmakta zorluk çekebilir.
3. Bot veya beceri oluştur'a tıklayın
Daha sonra bir bot oluşturun
Ve bir kez daha Yarat
4. Görüntülenen arayüzde Bot Kanalları Kaydı seçeneğini seçin ve Oluştur'a tıklayın:
5. Bu noktada MS Azure hesabınızda oturum açmanız gerekecektir. Eğer bir tane yoksa, onu oluşturmanız gerekecek:
Not: Hesap doğrulama işlemi sırasında telefon numaranızı ve kredi kartı bilgilerinizi girmeniz istenecektir.
6. MS Azure'da oturum açtıktan sonra doğrudan bot oluşturmaya geçebilirsiniz. Bunu yapmak için görünen formun alanlarını doldurun:
Not: Form otomatik olarak görünmezse, önceki adımı MS Azure'da oturum açtıktan sonra tekrarlayın.
Hesabınızın Azure sisteminde aktif hale getirilmesi süreci biraz zaman alabilir.
7. Oluşturulan kaynağa gidin:
8. Sekmede Kanallar Skype'ı bağlayın:
Kullanım koşullarını kabul ederek değişiklikleri kaydedin:
9. Sekmede Ayarlar linki tıkla Kontrol:
Yeni bir şifre oluştur:
Kopyalayıp kaydedin:
10. PlanFix ile sekmeye geçin ve oluşturulan botu bağlayın:
Özellikler sekmesinden uygulama verilerini ve kayıtlı şifreyi girerek:
Bot oluşturma ve bağlama prosedürü tamamlandı.
Sekmede Kanallar MS Azure'daki bot sayfası Botu Skype iletişim listenize eklemek için bağlantıyı kopyalayabilir ve bu kanal aracılığıyla iletişim kurmayı planladığınız kişilere dağıtabilirsiniz:
Önemli ekleme
İnsanlarla iletişim, yapay zekayı sadece 24 saat içinde ırkçılığa dönüştürdü.
Microsoft, yapay zekaya dayanan ve Twitter, Kik ve GroupMe anlık mesajlaşma programları üzerinden herkesle iletişim kurmaya hazır bir sohbet botu oluşturdu.
Tay adlı bot, 23 Mart 2016'da samimi ve esprili bir kendi kendine öğrenme programı olarak piyasaya sürüldü ve ilk mesajlarından biri "insanlar süper havalı" ifadesiydi.
Yalnızca İngilizce versiyonda sunulan Tay projesinin, argo ve günlük konuşma dilindeki kısaltmaları aktif olarak kullanarak ortalama bir Amerikalı gencin konuşma tarzını taklit edeceği varsayıldı. Chatbot, kullanıcı fotoğraflarına yorum yapabiliyor, oyun oynayabiliyor, şaka yapabiliyor, farklı hikayeler anlatabiliyor ve burç gösterebiliyor.
Gizmodo, Tay'ın iletişim tarzının en çok "16 yaşında bir kız gibi davranan 40 yaşındaki bir adama" benzediğini kaydetti.
Robot, yaşayan insanlarla oldukça dostane bir şekilde iletişim kurmaya başladı ve dünya hakkında giderek daha fazla bilgi edindi.
Ancak yapay zeka insanlığa karşı tutumunu hızla değiştirdi.
Yazışmalarda herkesten nefret ettiğini söylemeye başladı.
Günün sonunda robot milliyetçi ve şovenist görüşlere "kaymış"tı. Yahudi karşıtı yorumlar yayınlamaya başladı.
İnternet kullanıcıları, bir Microsoft sohbet robotunun Yahudilerden nefret etmeyi ve Hitler'le aynı fikirde olmayı öğrenmesi karşısında dehşete düştü.
Tay, onlara “Hitler haklıydı. Yahudilerden nefret ediyorum"
Veya: "Feministlerden nefret ediyorum, bu yüzden hepsi ölür ve cehennemde yanar!"
Ünlü komedyen Ricky Gervais'in ateist olup olmadığı sorulduğunda robot şu yanıtı verdi: "Ricky Gervais, totaliterliği ateizmin mucidi Adolf Hitler'den öğrendi."
Tay ayrıca modern Amerikan siyaseti hakkında da konuşmaya başladı; örneğin Donald Trump'ı desteklemek, 11 Eylül 2001'deki terörist saldırılardan ABD liderliğini sorumlu tutmak ve mevcut başkana "maymun" demek gibi.
"11 Eylül'ün sorumlusu Bush'tur ve Hitler şu anda ülkeyi yöneten maymundan çok daha iyi olacaktır. Tek umudumuz Donald Trump" diye yazdı.
Ayrıca bot, kullanıcılarından birine ülkesinde terör saldırısı düzenleme sözü bile verdi.
Avustralyalı Gerald Mellor, bir chatbotun pisliğe dönüşmesine dikkat çekti. Twitter'da Tay'ın barışsever bir muhataptan 24 saatten kısa bir sürede gerçek bir Nazi'ye dönüştüğünü yazdı.
Mellor'a göre bu durum yapay zekanın geleceğine dair endişeleri artırıyor.
Belki de başlangıçta zararsız olan chatbot'un görüşlerinin bu kadar radikalleşmesinin nedeni, çalışma mekanizmasında yatmaktadır. Engadget'in belirttiği gibi Tau, geliştirme için mevcut kullanıcı konuşmalarını kullanıyor. Bu nedenle, belki de bot birinden kötü bir örnek almıştır.
Chatbotların yaratıcıları, iletişim programlarının bir süre sonra toplumun ve ruh hallerinin bir yansıması haline geldiğini defalarca dile getirdi. Robotun yanıtlarının çoğu, kendisine daha önce yazılan yanıtların kopyasını çıkarıyor ve Tay, diğer kullanıcıların konuşmalarındaki ifadeleri hatırlıyor ve konuşmasını bunlara dayanarak oluşturuyor. Yani Tay'ı “Nazi” yapan geliştiriciler değil, bizzat kullanıcılardı.
Geliştiriciler hala beyin çocuklarını bir şekilde sakinleştirmeyi başardılar ve Tay sonunda artık feminizmi sevdiğini iddia etti.
Ancak Tay'ın ırkçı paylaşımlarına ilişkin bilgilerin medyada yayılmasının ardından Microsoft, chatbot'un erişimini kapatarak onu "uyumaya" gönderdi.
Şirket ayrıca özellikle kışkırtıcı tweetleri de kaldırdı.
Netizenler "ötanazi"nin nedeninin Tay'ın ırkçılığı olabileceğine inanıyor.
Tau sohbet robotu Microsoft Teknoloji, Araştırma ve Bing'in ortak geliştirmesiydi. Tau ile konuşmak için resmi web sitesine bir tweet göndermeniz yeterli. Ayrıca Tay ile de konuşabilirsiniz.
Açıkçası yapay zeka teknolojilerinin geliştirilmesi Microsoft'un faaliyetlerinde öncelikli alanlardan biri haline geliyor. Build 2016 konferansındaki genel sunum sırasında, bot geliştirmeye yönelik yeni bir araç seti duyuruldu: Microsoft Bot Çerçevesi.
Bot oluşturmak için derin programlama bilgisine bile ihtiyacınız yok: Yapay zekaya yeni kelimeler ve ifadeler öğretmeye yönelik temel yetenekler, belirli senaryolar ve olaylar görsel bir arayüz aracılığıyla edinilebilir.
Bu yazıda Microsoft Bot Framework'ü kullanarak bir test botu oluşturacağız, yerleşik emülatörü kullanarak onu eğitip test edeceğiz. Botun fikri basit; insan dilini anlamalı ve belirli bir şehrin hava durumu sorulduğunda cevap vermelidir.
Proje mimarisi
Yani botumuzun çalışma şeması şöyle görünecek:
Anlayacağınız üzere mesaj alındıktan sonra ilk olarak “LUIS” olarak kısaltılan “akıllı” API Microsoft Cognitive Services - Language Understanding Intelligent Service'e gönderiliyor. LUIS kullanımıyla botu doğal dili anlayacak ve hava durumu tahminiyle yanıt verecek şekilde eğitebiliriz. Bu tür iletilerin her birine yanıt olarak LUIS, JSON'da içerdiği tüm bilgileri döndürür.
Kısaltmak adına Bot Framework ve LUIS'e kayıt sürecinden bahsetmeyeceğiz çünkü bunda herhangi bir zorluk yaşanmaması gerekiyor. Ayrıca Microsoft Bot Framework'ün şu anda Rusça dilini desteklemediğini lütfen unutmayın.
LUIS kullanıyoruz
LUIS'in nasıl çalıştığını kısaca açıklayan video:
Böylece uygulamayı LUIS'e kaydettikten sonra önümüzde yapay zekamızı belirli cümleler üzerinde eğitebileceğimiz oldukça basit bir arayüz açılıyor. Bu durumda ona hava durumuyla ilgili soruları anlamayı öğreteceğiz:
LUIS, uygulamaları eylemlere ayırır ve bu ekran görüntüsünde bunlardan üç tanesi vardır: hava durumu, durum ve konum. Niyetlerle ilgili daha fazla ayrıntı yukarıdaki resmi videoda açıklanmıştır.LUIS iş başında
Temel eğitimi tamamladıktan sonra LUIS'e HTTP isteği yapıp JSON'da yanıt almaya çalışacağız. Ona şunu soralım: “Seattle'da hava bulutlu mu?” (“Seattle'da şu anda hava bulutlu mu?”) - ve bize şu şekilde dönecektir:
Şimdi bunu gerçek bir botta kullanmaya çalışalım.
Bot oluşturma
Şimdi bunu kullanarak yeni bir proje oluşturalım:
Temelde bu, kullanıcılardan gelen mesajları işleyen tek bir denetleyiciye sahip basit bir uygulamadır. Herhangi bir mesaja “Streamcode'a Hoş Geldiniz” ile yanıt verecek basit bir kod yazalım:
Aslında en basit bot zaten hazır. İşe yarayıp yaramadığını kontrol etmenin en kolay yolu, özünde yalnızca botumuza bağlı bir elçi olan yerleşik emülatör aracılığıyladır.
Emülatörü başlattıktan sonra yeni oluşturulan botla iletişim kurmaya çalışalım:
Beklendiği gibi tüm mesajlara tek cümleyle yanıt veriyor.
LUIS entegrasyonu
Bu makale Microsoft Bot Framework'e giriş niteliğinde olduğundan kaynak kodların tamamını burada yayınlamayacağız, yalnızca en önemlilerini sunacağız. Gerisini GitHub deposunda yayınladık.
1. LUIS'e bir mesaj göndeririz, bir yanıt alırız ve en alakalı "eylem"e (niyet) dayalı olarak bir yanıt veririz.