"Neuromorphic" 태그로 연결된 1개 게시물개의 게시물이 있습니다.

Surrogate Gradient는 스파이킹 신경망, 즉 SNN을 현대 딥러닝의 학습 도구와 연결하는 우회로다. 순전파에서는 실제 스파이크를 쓰고, 역전파에서는 미분 가능한 가짜 기울기를 쓴다. 한 문장으로는 간단하지만, 이 아이디어를 제대로 이해하려면 세 가지 배경이 필요하다.

첫째, 스파이크 뉴런은 왜 불연속 동역학인가. 둘째, 역전파는 왜 미분 가능성을 요구하는가. 셋째, SNN은 Surrogate Gradient 이전에 어떤 방식으로 학습됐고 무엇이 막혔는가.