Çoklu örnekle öğrenme

Makine öğreniminde, çoklu örnek öğrenme (ÇÖÖ) bir tür denetimli öğrenmedir. Öğrenci, bireysel olarak etiketlenmiş bir dizi örnek almak yerine, her biri birçok örnek içeren bir dizi etiketli paket alır.

Basit çoklu örnekli ikili sınıflandırma durumunda, bir torba, içindeki tüm örnekler negatifse negatif olarak etiketlenebilir. Öte yandan, içinde pozitif olan en az bir örnek varsa, bir torba pozitif olarak etiketlenir. Öğrenci, etiketli çantalardan oluşan bir koleksiyondan, (i) tek tek örnekleri doğru şekilde etiketleyecek bir kavram oluşturmaya çalışır veya (ii) kavramı harekete geçirmeden çantaların nasıl etiketleneceğini öğrenir.

ÇÖÖ için basit bir örnek verelim. Birkaç kişi hayal edin ve her birinin birkaç anahtar içeren bir anahtar zinciri var. Bu insanlardan bazıları belirli bir odaya girebilir, bazıları giremez. Daha sonra görev, belirli bir anahtarın veya belirli bir anahtarlığın sizi o odaya sokup sokamayacağını tahmin etmektir. Bu sorunu çözmek için, tüm "pozitif" anahtar zincirleri için ortak olan tam anahtarı bulmamız gerekir. Bu anahtarı doğru bir şekilde tanımlayabilirsek, bir anahtar zincirinin tamamını da doğru bir şekilde sınıflandırabiliriz - gerekli anahtarı içeriyorsa pozitif, yoksa negatiftir.

Makine öğrenimi

Öğrenim verilerinin türüne ve çeşitliliğine bağlı olarak, makine öğrenimi kabaca üç çerçeveye ayrılabilir: denetimli öğrenme, denetimsiz öğrenme ve pekiştirmeli öğrenmedir. Çoklu örnek öğrenme (ÇÖÖ), her öğrenim örneğinin ayrı veya gerçek değerli bir etikete sahip olduğu denetimli öğrenme çerçevesine girer. ÇÖÖ, eğitim setlerindeki eksik etiket bilgileriyle ilgili problemlerle ilgilenir. Daha kesin olarak, çoklu örnek öğrenmede eğitim seti, her biri etiketlenmemiş örneklerden oluşan etiketli "Paketten" oluşur. Bir torba, içindeki en az bir örnek pozitifse pozitif olarak etiketlenir ve içindeki tüm örnekler negatifse negatif olarak etiketlenir. ÇÖÖ'in amacı yeni, görünmeyen çantaların etiketlerini tahmin etmektir.

Tarihçesi

Keeler ve diğer araştırmacılar,^[1] 1990'ların başındaki çalışmalarında ÇÖÖ alanını keşfeden ilk kişilerdi. Fiili çoklu örnek öğrenme terimi, 1990'ların ortasında Dietterich ve diğerleri tarafından tanıtıldı. ilaç aktivitesi tahmini problemini araştırırken kullanılmıştır.^[2] Bilinen moleküllerin bir koleksiyonunu analiz ederek, yeni molekülün bir ilaç üretmeye uygun olup olmadığını tahmin edebilecek bir öğrenme sistemi yaratmaya çalışılmıştır. Moleküllerin birçok alternatif düşük enerji durumu olabilir, ancak bunlardan yalnızca biri veya bazıları bir ilaç yapmaya yetkilidir. Sorun, bilim adamlarının yalnızca molekülün nitelikli olup olmadığını belirleyebildikleri için ortaya çıktı, ancak bunun düşük enerjili şekillerinin hangisinin sorumlu olduğunu tam olarak söyleyemediler.

Dietterich ve ark.nın çoklu örnek öğrenme problemine çözüm. önerilen eksen paralel dikdörtgen (YYO) algoritmasıdır.^[2] Özelliklerin birleşimiyle oluşturulmuş uygun eksenli paralel dikdörtgenleri aramaya çalışır. Algoritmayı, ilaç aktivitesi tahminine ilişkin somut bir test verisi olan ve çoklu örnekli öğrenmede en yaygın olarak kullanılan karşılaştırma ölçütü olan Musk veri kümesi [1] 12 Kasım 2020 tarihinde Wayback Machine sitesinde arşivlendi. üzerinde test ettiler. Yıllık yüzde oranı algoritması en iyi sonucu elde etti, ancak YYO, Musk verileri düşünülerek tasarlanmıştır.

Çok örnekli öğrenme 1998'de Maron ve Ratan, makine görüşünde sahne sınıflandırmasına çoklu örnek öğrenmenin başka bir uygulamasını buldular ve Diverse Density çerçevesini tasarladılar.^[3] Bir görüntü verildiğinde, bir örnek, bir veya daha fazla sabit boyutlu alt görüntü olarak alınır ve örneklerin çantası, görüntünün tamamı olarak alınır. Bir görüntü, hedef sahneyi (örneğin bir yangın musluğu) içeriyorsa pozitif, aksi takdirde negatif olarak etiketlenir. Hedef sahneyi karakterize eden alt görüntülerin özelliklerini öğrenmek için çoklu örnek öğrenme kullanılabilir. Bundan sonra, bu çerçeveler, görüntü kavramı öğrenme ve metin kategorizasyonundan borsa tahminine kadar geniş bir uygulama yelpazesi için kullanılmıştır.

Kullanım Alanı örnekler

Örneğin görüntü sınıflandırmasını ele alalım Amores^[4] (2013) Bir görüntü verildiğinde, görsel içeriğine göre hedef sınıfını bilmek istiyoruz. Örneğin, hedef sınıf, görüntünün hem "sınıf" hem de "masa" içerdiği "okul" olabilir. ÇÖÖ terimleriyle, görüntü bir paket $X=\{X_{1},..,X_{N}\}$ , burada her biri ${\ X_{i}}$ , görüntüdeki karşılık gelen i-inci bölgesinden çıkarılan özellik vektörüdür (örnek olarak adlandırılır) ve ${N}$ , görüntü. içinde, hem "sınıf" bölgesi örnekleri hem de "masa" bölgesi örnekleri içeriyorsa pozitif ("okul") olarak etiketlenir.

ÇÖÖ'in uygulandığı yerlere örnekler şunlardır:

Molekül aktivitesi
Calmodulin bağlayıcı proteinlerin bağlanma bölgelerinin tahmin edilmesi^[5]
Alternatif olarak eklenmiş izoformlar için tahmin fonksiyonu Li, Menon . (2014)
Görüntü sınıflandırması Maron ve Ratan (1998)
Metin veya belge kategorizasyonu Kotzias (2015)
MicroRNA'nın fonksiyonel bağlanma alanlarının tahmin edilmesi, Bandyopadhyay, Ghosh . (2015)
Tıbbi görüntü sınıflandırması Zhu . (2016), P.J.Sudharshan vd. (2019)

birçok araştırmacı, çoklu örnekli öğrenme bağlamında çalışmak için destek vektör makineleri veya hızlandırma gibi klasik sınıflandırma tekniklerini uyarlamak için çalıştı.

Yüzeysel Kavramlar

Örneklerin alanı ${X}$ çoklu alt kümeleri kümesine izomorfiktir. ${\displaystyle y\in \{0,1\}}$ içindeki her paket örneği için $r{(x,y)}$ x'in kaç kez geçtiği olarak görülmektedir.^[6] ${Y}$ etiketlerin alanı olsun, o zaman bir "çoklu örnek kavramı" bir harita. ÇÖÖ'in amacı böyle bir kavramı öğrenmektir. Makalenin geri kalanı ikili sınıflandırmaya odaklanacak, bunlarda ${{Y}={0,1}}$ elemanları arasındadır

Algoritma

Çoklu Örnek Öğrenme için iki ana algoritma çeşidi vardır: örnek tabanlı ve meta veri tabanlı veya gömme tabanlı algoritmalardır. "Örneğe dayalı" terimi, algoritmanın bir MI varsayımına dayalı olarak bir dizi temsili örneği bulmaya çalıştığını ve bu temsilcilerden gelecek çantaları sınıflandırdığını belirtir. Buna karşılık, meta veriye dayalı algoritmalar, örnekler ve çanta etiketleri arasındaki ilişki hakkında hiçbir varsayımda bulunmazlar ve bunun yerine kavramı öğrenmek için çantalar hakkında örnekten bağımsız bilgileri (veya meta verileri) çıkarmaya çalışmışlardır.^[7] Modern ÇÖÖ algoritmalarından bazılarının araştırması için . Foulds ve Frank.^[6]

Örnek tabanlı algoritmalar

İlk önerilen ÇÖ algoritmaları, Dietterich ve arkadaşları tarafından geliştirilen bir dizi "yinelemeli ayrımcılık" algoritması ve Maron ve Lozano-Pérez tarafından geliştirilen Diverse Density idi.^[2]^[8] Bu algoritmaların her ikisi de standart varsayım altında işlemektedir.

Yinelenen ayrımcılık

Genel olarak, tüm yinelemeli ayrımcılık algoritmaları iki aşamadan oluşur. İlk aşama, her pozitif torbadan en az bir örnek içeren ve herhangi bir negatif paketten hiç örnek içermeyen bir paralel eksenli dikdörtgen (PED) geliştirmektir. Bu yinelemeli olarak yapılır: Pozitif bir paketin $B_{1}$ elemanı $x_{1}\in B_{1}$ olacak şekilde rastgele bir $x_{1}$ örneğinden başlayarak, PED herhangi bir örneği kapsayan en küçük PED'ye genişletilir ${x_{2}}$ yeni bir pozitif paket $B_{2}.$ ^[6]^[9] oluşmuştur.

Genel bakış

Şimdiye kadar bu makale, yalnızca ikili sınıflandırıcılar bağlamında çoklu örnek öğrenmeyi ele aldı. Ancak, tek eşgörünümlü ikili sınıflandırıcıların genellemeleri, çok-eşgörünümlü duruma taşınabilir.

Bu tür bir genelleme, her bir torbanın artık etiket alanının herhangi bir alt kümesiyle ilişkilendirilebildiği çoklu örnek çoklu etiket problemidir (MIML). Resmi olarak, ${X}$ etiketlerin uzayıysa, bir MIML kavramı bir harita ${c:{N}^{X}\rightarrow \ 2^{Y}}$ . Zhou ve Zhang (2006),^[10] MIML problemine çoklu-örnekli veya çoklu-konseptli bir probleme indirgeme yoluyla bir çözüm önermektedir.

Bir başka bariz genelleme, çoklu-örnek regresyonudur. Burada, her torba standart regresyonda olduğu gibi tek bir gerçek sayı ile ilişkilendirilir. Standart varsayıma çok benzer şekilde, MI regresyonu, her torbada, torbanın etiketini (gürültüye kadar) belirleyen "birincil eşgörünüm" olarak adlandırılan bir örnek olduğunu varsayar. MI regresyonunun ideal amacı, her bir çantadaki ana örneklerin kare kaybını en aza indiren bir hiper düzlem bulmaktır, ancak asıl örnekler gizlidir. Aslında, Ray ve Page (2001) [22], torba başına üçten az örnek varsa, her bir torbadan bir örneğe uyan en iyi uyan hiper düzlemi bulmanın zor olduğunu göstermekte ve bunun yerine yaklaşıklık için bir algoritma geliştirmektedir. MI sınıflandırması için geliştirilen algoritmaların çoğu, MI regresyon problemine de iyi yaklaşımlar sağlayabilir.^[6]

Kaynakça

^ Keeler, James D., David E. Rumelhart, and Wee-Kheng Leow. Integrated Segmentation and Recognition of Hand-Printed Numerals. Microelectronics and Computer Technology Corporation, 1991.
^ ^a ^b ^c Dietterich, Thomas G.; Lathrop, Richard H.; Lozano-Pérez, Tomás (1997). "Solving the multiple instance problem with axis-parallel rectangles". Artificial Intelligence. . 89 (1-2): 31-71. doi:10.1016/s0004-3702(96)00034-3. ISSN 0004-3702. 25 Temmuz 2008 tarihinde kaynağından arşivlendi. Erişim tarihi: 24 Mayıs 2021.
^ O. Maron and A.L. Ratan. Multiple-instance learning for natural scene classification. In Proceedings of the 15th International Conference on Machine Learning, Madison, WI, pp.341–349, 1998.
^ "Multiple instance classification: Review, taxonomy and comparative study". Artificial Intelligence (İngilizce). 201: 81-105. 1 Ağustos 2013. doi:10.1016/j.artint.2013.06.003. ISSN 0004-3702. 25 Mayıs 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 25 Mayıs 2021.
^ Minhas, F. u. A. A.; Ben-Hur, A. (15 Eylül 2012). "Multiple instance learning of Calmodulin binding sites". Bioinformatics (İngilizce). 28 (18): i416-i422. doi:10.1093/bioinformatics/bts416. ISSN 1367-4803. PMC 3436843 $2. PMID 22962461. 4 Şubat 2017 tarihinde kaynağından arşivlendi. Erişim tarihi: 25 Mayıs 2021. KB1 bakım: PMC biçimi (link)
^ ^a ^b ^c ^d Foulds, James; Frank, Eibe (2010). "A review of multi-instance learning assumptions". The Knowledge Engineering Review. 25 (1): 1-25. doi:10.1017/s026988890999035x. ISSN 0269-8889.
^ Xu, X. Statistical learning in multiple instance problems. Master’s thesis, University of Waikato (2003).
^ Maron, Oded, and Tomás Lozano-Pérez. "A framework for multiple-instance learning." Advances in neural information processing systems (1998): 570-576
^ "Blake, E. Keogh, and C.J. Merz. UCI repository of machine learning databases [1][permanent dead link], Department of Information and Computer Science, University of California, Irvine, CA, 1998.". dx.doi.org. 8 Ağustos 2018 tarihinde |arşiv-url= kullanmak için |url= gerekiyor (yardım) arşivlendi. Eksik ya da boş |url= (yardım);
^ Zhou, Zhi-Hua, and Min-Ling Zhang. "Multi-instance multi-label learning with application to scene classification." Advances in Neural Information Processing Systems. 2006. pp 1609 - 16

[1] Keeler, James D., David E. Rumelhart, and Wee-Kheng Leow. Integrated Segmentation and Recognition of Hand-Printed Numerals. Microelectronics and Computer Technology Corporation, 1991.

[:0-2] Dietterich, Thomas G.; Lathrop, Richard H.; Lozano-Pérez, Tomás (1997). "Solving the multiple instance problem with axis-parallel rectangles". Artificial Intelligence. . 89 (1-2): 31-71. doi:10.1016/s0004-3702(96)00034-3. ISSN 0004-3702. 25 Temmuz 2008 tarihinde kaynağından arşivlendi. Erişim tarihi: 24 Mayıs 2021.

[3] O. Maron and A.L. Ratan. Multiple-instance learning for natural scene classification. In Proceedings of the 15th International Conference on Machine Learning, Madison, WI, pp.341–349, 1998.

[4] "Multiple instance classification: Review, taxonomy and comparative study". Artificial Intelligence (İngilizce). 201: 81-105. 1 Ağustos 2013. doi:10.1016/j.artint.2013.06.003. ISSN 0004-3702. 25 Mayıs 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 25 Mayıs 2021.

[5] Minhas, F. u. A. A.; Ben-Hur, A. (15 Eylül 2012). "Multiple instance learning of Calmodulin binding sites". Bioinformatics (İngilizce). 28 (18): i416-i422. doi:10.1093/bioinformatics/bts416. ISSN 1367-4803. PMC 3436843 $2. PMID 22962461. 4 Şubat 2017 tarihinde kaynağından arşivlendi. Erişim tarihi: 25 Mayıs 2021. KB1 bakım: PMC biçimi (link)

[:2-6] Foulds, James; Frank, Eibe (2010). "A review of multi-instance learning assumptions". The Knowledge Engineering Review. 25 (1): 1-25. doi:10.1017/s026988890999035x. ISSN 0269-8889.

[7] Xu, X. Statistical learning in multiple instance problems. Master’s thesis, University of Waikato (2003).

[8] Maron, Oded, and Tomás Lozano-Pérez. "A framework for multiple-instance learning." Advances in neural information processing systems (1998): 570-576

[9] "Blake, E. Keogh, and C.J. Merz. UCI repository of machine learning databases [1][permanent dead link], Department of Information and Computer Science, University of California, Irvine, CA, 1998.". dx.doi.org. 8 Ağustos 2018 tarihinde |arşiv-url= kullanmak için |url= gerekiyor (yardım) arşivlendi. Eksik ya da boş |url= (yardım);

[10] Zhou, Zhi-Hua, and Min-Ling Zhang. "Multi-instance multi-label learning with application to scene classification." Advances in Neural Information Processing Systems. 2006. pp 1609 - 16

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]