Ağustos 2022’nin başlarında piyasaya sürülmesinden bu yana, Meta’nın yapay zeka (AI) odaklı araştırma projesi Blenderbot manşetlere çıkıyor. Bir sohbet botu olan Blenderbot’un beşerler, şirketler ve siyaset hakkındaki açıklamaları beklenmedik ve kimi vakit radikal görünüyor. Bu, makine öğrenmesinin (ML) değerli zorluklarından biri ve işlerinde ML kullanan kuruluşların bununla bilhassa ilgilenmesi gerekiyor.
Diğer emsal projeler daha evvel Blenderbot’un yaşadığına misal sorunla karşı karşıya kaldı. Örneğin Microsoft’un Twitter için hazırladığı sohbet botu Tay ırkçı açıklamalarıyla dikkat çekmişti. Bu, internetten gelen metinler ve manzaralar üzerinde eğitilen makine tahsili modellerinin zayıf noktasını yansıtıyor. Çıktılarını inandırıcı kılmak için fazlaca büyük ham bilgi kümeleri kullanıyorlar, fakat bu tıp modeller web üzerinde eğitildikleri takdirde yakaladığı önyargıları davranışlarına yansıtıyorlar.
Şimdiye kadar bu projeler sıklıkla araştırma ve bilim hedefiyle ortaya koyuluyordu. birebir vakitte kuruluşlar artık lisan modellerini müşteri takviyesi, çeviri, pazarlama metni yazma, metin düzeltme ve gibisi alanlarda kullanıyorlar. Bu modelleri daha az önyargılı hale getirmek için geliştiriciler, eğitim için kullanılan data kümelerini düzenleyebilirler. Lakin web üstündeki bilgi kümeleri kelam konusu olduğunda bu fazlaca zordur. Yüz kızartıcı kusurları önlemek için ilgili evrakları kaldırmak, modelin bunları öğrenmesini önlemek için belli sözleri yahut sözleri datanın haricinde tutmak ismine önyargılara karşı datayı filtrelemek gerekir. Başka bir yaklaşım, modelin kuşkulu metin oluşturması durumunda uygun olmayan çıktıları kullanıcılara ulaşmadan filtrelemektir.
Daha geniş açıdan bakıldığında müdafaa düzenekleri önyargıların ötesinde rastgele bir ML modeli için gereklidir. Geliştiriciler modeli eğitmek için açık bilgileri kullanırsa, özel hazırlanmış, yanılgılı biçimlendirilmiş bilgilerin saldırganlar tarafınca data kümesine eklendiği “veri zehirlenmesi” ismi verilen tekniğin kurbanı olabilirler. Sonuç olarak model birtakım olayları tanımlayamayacak, onları diğerleriyle karıştıracak ve yanlış kararlar verecektir.
Kaspersky Baş Data Bilimcisi Vladislav Tushkanov, şunları söylüyor: “Çok fazla gayret ve uzmanlık gerektirmesi niçiniyle gerçekte bu tıp tehditler ender olsa da, şirketlerin hala önleyici önlemler alması gerekiyor. Bu beraberinde eğitim modelleri sürecindeki kusurları en aza indirmeye yardımcı olacaktır. Öncelikle kuruluşların eğitim için hangi bilgilerin kullanıldığını ve nereden geldiğini bilmeleri gerekiyor. Ayrıyeten çeşitlendirilmiş dataların kullanılması zehirlenmeyi daha da zorlaştırır. Son olarak, modeli devreye almadan evvel kapsamlı bir biçimde test etmek ve performansını daima olarak izlemek değerlidir.”
Kuruluşlar, makine tahsili sistemlerine yönelik tehditler hakkında özel bir bilgi kaynağı olan MITRE ATLAS’a da başvurabilirler. ATLAS ayrıyeten ML taarruzlarında kullanılan bir taktik ve teknik matrisi sağlar.
Kaspersky’de mümkün güvenlik açıklarını ortaya çıkarmak, hasarı görmek ve bu cins bir taarruz riskinin nasıl azaltılacağını anlamak için siber hücumları taklit ederek istenmeyen posta tedbire ve berbat maksatlı yazılım algılama sistemlerimiz üzerinde makul testler gerçekleştirdik.
Makine tahsili, Kaspersky eser ve hizmetlerinde tehditlerin tespiti, Kaspersky SOC’de ikaz tahlili yahut üretim süreci müdafaasında anormallik tespiti maksadıyla yaygın olarak kullanılmaktadır. Kaspersky mamüllerinde makine tahsili kullanması hakkında daha fazla bilgi edinmek için bu sayfayı ziyaret edin.
Kaynak: (BYZHA) – Beyaz Haber Ajansı
Diğer emsal projeler daha evvel Blenderbot’un yaşadığına misal sorunla karşı karşıya kaldı. Örneğin Microsoft’un Twitter için hazırladığı sohbet botu Tay ırkçı açıklamalarıyla dikkat çekmişti. Bu, internetten gelen metinler ve manzaralar üzerinde eğitilen makine tahsili modellerinin zayıf noktasını yansıtıyor. Çıktılarını inandırıcı kılmak için fazlaca büyük ham bilgi kümeleri kullanıyorlar, fakat bu tıp modeller web üzerinde eğitildikleri takdirde yakaladığı önyargıları davranışlarına yansıtıyorlar.
Şimdiye kadar bu projeler sıklıkla araştırma ve bilim hedefiyle ortaya koyuluyordu. birebir vakitte kuruluşlar artık lisan modellerini müşteri takviyesi, çeviri, pazarlama metni yazma, metin düzeltme ve gibisi alanlarda kullanıyorlar. Bu modelleri daha az önyargılı hale getirmek için geliştiriciler, eğitim için kullanılan data kümelerini düzenleyebilirler. Lakin web üstündeki bilgi kümeleri kelam konusu olduğunda bu fazlaca zordur. Yüz kızartıcı kusurları önlemek için ilgili evrakları kaldırmak, modelin bunları öğrenmesini önlemek için belli sözleri yahut sözleri datanın haricinde tutmak ismine önyargılara karşı datayı filtrelemek gerekir. Başka bir yaklaşım, modelin kuşkulu metin oluşturması durumunda uygun olmayan çıktıları kullanıcılara ulaşmadan filtrelemektir.
Daha geniş açıdan bakıldığında müdafaa düzenekleri önyargıların ötesinde rastgele bir ML modeli için gereklidir. Geliştiriciler modeli eğitmek için açık bilgileri kullanırsa, özel hazırlanmış, yanılgılı biçimlendirilmiş bilgilerin saldırganlar tarafınca data kümesine eklendiği “veri zehirlenmesi” ismi verilen tekniğin kurbanı olabilirler. Sonuç olarak model birtakım olayları tanımlayamayacak, onları diğerleriyle karıştıracak ve yanlış kararlar verecektir.
Kaspersky Baş Data Bilimcisi Vladislav Tushkanov, şunları söylüyor: “Çok fazla gayret ve uzmanlık gerektirmesi niçiniyle gerçekte bu tıp tehditler ender olsa da, şirketlerin hala önleyici önlemler alması gerekiyor. Bu beraberinde eğitim modelleri sürecindeki kusurları en aza indirmeye yardımcı olacaktır. Öncelikle kuruluşların eğitim için hangi bilgilerin kullanıldığını ve nereden geldiğini bilmeleri gerekiyor. Ayrıyeten çeşitlendirilmiş dataların kullanılması zehirlenmeyi daha da zorlaştırır. Son olarak, modeli devreye almadan evvel kapsamlı bir biçimde test etmek ve performansını daima olarak izlemek değerlidir.”
Kuruluşlar, makine tahsili sistemlerine yönelik tehditler hakkında özel bir bilgi kaynağı olan MITRE ATLAS’a da başvurabilirler. ATLAS ayrıyeten ML taarruzlarında kullanılan bir taktik ve teknik matrisi sağlar.
Kaspersky’de mümkün güvenlik açıklarını ortaya çıkarmak, hasarı görmek ve bu cins bir taarruz riskinin nasıl azaltılacağını anlamak için siber hücumları taklit ederek istenmeyen posta tedbire ve berbat maksatlı yazılım algılama sistemlerimiz üzerinde makul testler gerçekleştirdik.
Makine tahsili, Kaspersky eser ve hizmetlerinde tehditlerin tespiti, Kaspersky SOC’de ikaz tahlili yahut üretim süreci müdafaasında anormallik tespiti maksadıyla yaygın olarak kullanılmaktadır. Kaspersky mamüllerinde makine tahsili kullanması hakkında daha fazla bilgi edinmek için bu sayfayı ziyaret edin.
Kaynak: (BYZHA) – Beyaz Haber Ajansı