Učení binárních-ternárních neuronových sítí / Training of Binary-Ternary Neural Networks
- Authors
- Publication Date
- Jun 05, 2024
- Source
- Digital Library of the Czech Technical University in Prague
- Keywords
- License
- Unknown
Abstract
Neuronové sítě jsou užitečné nástroje pro efektivní řešení rozličných problémů. Jednou z jejich hlavních nevýhod je však to, že jsou pro člověka často nepřehledné a jejich závěry neodůvodněné. V této práci formulujeme specifický tip neuronových sítí, tzv. binární-ternární sítě, které se vyznačují ternárními vahami a binárními aktivačními funkcemi. Tento model nabízí několik výhod oproti tradičním neuronovým sítím, například schopnost být plně reprezentován jako soubor logických pravidel, což zpřehledňuje jeho výstupy a umožňuje tak lidem hlubší pochopení. Proces trénování binárních-ternárních sítí však přináší problémy netipické pro tradiční hluboké sítě, jako neinformativnost gradientů a diskrétní váhový prostor. V této práci popisujeme a porovnáváme tři rozdílné metody, které se snaží těmto problémům předcházet a umožňují tak efektivní trénování binárních-ternárních sítí. / Neural networks are powerful tools for solving complex problems, but their inner workings often remain incomprehensible to humans. In this thesis, we formulate a novel type of neural network called "binary-ternary" neural network, characterized by ternary weights and binary activation function. This model offers distinct advantages over traditional neural networks, such as the ability to be fully represented as a series of logical rules, which ultimately makes the output of the network more understandable. However, the process of training binary-ternary networks brings forth a new set of challenges such as non-informativeness of gradients and discrete weight space, uncommon for conventional deep nets. In this thesis, we describe and compare the results of three distinct methods that try to circumvent these problems, thereby enabling an effective training.
