Siapa yang menemukan jaringan saraf konvolusional (CNN)? 1969: Fukushima memiliki ReLU yang relevan dengan CNN [2]. 1979: Fukushima memiliki arsitektur CNN dasar dengan lapisan konvolusi dan lapisan downsampling [1]. Komputasi 100 x lebih mahal daripada pada tahun 1989, dan satu miliar x lebih mahal daripada hari ini. 1987: Waibel menerapkan propagasi balik Linnainmaa tahun 1970 [3] untuk TDNN pembagian berat dengan konvolusi 1 dimensi [4]. 1988: Wei Zhang et al. menerapkan CNN 2 dimensi "modern" yang dilatih backprop untuk pengenalan karakter [5]. Semua hal di atas diterbitkan di Jepang 1979-1988. 1989: LeCun et al. menerapkan CNN lagi untuk pengenalan karakter (kode pos) [6,10]. 1990-93: Downsampling Fukushima berdasarkan rata-rata spasial [1] digantikan oleh max-pooling untuk TDNN 1-D (Yamaguchi et al.) [7] dan CNN 2-D (Weng et al.) [8]. 2011: Jauh kemudian, tim saya dengan Dan Ciresan membuat CNN max-pooling dengan sangat cepat di GPU NVIDIA. Pada tahun 2011, DanNet mencapai hasil pengenalan pola manusia super pertama [9]. Untuk sementara, ia menikmati monopoli: dari Mei 2011 hingga September 2012, DanNet memenangkan setiap tantangan pengenalan gambar yang diikutinya, 4 di antaranya berturut-turut. Namun, harus diakui, ini sebagian besar tentang rekayasa & meningkatkan wawasan dasar dari milenium sebelumnya, mendapatkan keuntungan dari perangkat keras yang jauh lebih cepat. Beberapa "pakar AI" mengklaim bahwa "membuat CNN bekerja" (misalnya, [5,6,9]) sama pentingnya dengan menemukannya. Tetapi "membuatnya bekerja" sangat tergantung pada apakah laboratorium Anda cukup kaya untuk membeli komputer terbaru yang diperlukan untuk meningkatkan karya aslinya. Ini sama seperti hari ini. Penelitian dasar vs rekayasa/pengembangan - R vs D dalam R&D. REFERENSI [1] K. Fukushima (1979). Model jaringan saraf untuk mekanisme pengenalan pola yang tidak terpengaruh oleh pergeseran posisi - Neocognitron. Trans. IECE, vol. J62-A, no. 10, hlm. 658-665, 1979. [2] K. Fukushima (1969). Ekstraksi fitur visual oleh jaringan elemen ambang analog berlapis-lapis. Transaksi IEEE tentang Ilmu Sistem dan Sibernetika. 5 (4): 322-333. Pekerjaan ini memperkenalkan unit linier yang diperbaiki (ReLU), yang sekarang digunakan di banyak CNN. [3] S. Linnainmaa (1970). Tesis Master, Univ. Helsinki, 1970. Publikasi pertama tentang propagasi balik "modern", juga dikenal sebagai mode terbalik diferensiasi otomatis. (Lihat ikhtisar backpropagation Schmidhuber yang terkenal: "Siapa yang Menemukan Backpropagation?") [4] A. Waibel. Pengenalan fonem menggunakan jaringan saraf penundaan waktu. Pertemuan IEICE, Tokyo, Jepang, 1987. Propagasi balik untuk TDNN pembagian berat dengan konvolusi 1 dimensi. ...