Neural Iterated Learning

27/03/2020, 16:00, online (platforma będzie ogłoszona wkrótce)

Podczas spotkania będziemy dyskutować tekst Ren et al. (2020) Compositional Languages Emerge in a Neural Iterated Learning Model przyjęty na tegoroczną International Conference on Learning Representations (ICLR). Autorzy prezentują rozszerzenie Iterated Learning (klasycznego już w lingwistyce ewolucyjnej modelu wyłaniania się struktury języka poprzez iteracyjne uczenie się od siebie kilku pokoleń agentów), w którym agenci są zaimplementowani głębokimi sieciami neuronowymi, a optymalizację ewolucyjną zastępuje algorytm reinforce (znany też jako policy gradients). Zachęcamy do zajrzenia do apendyksów, gdzie można znaleźć ciekawy argument, dlaczego języki kompozycjonalne są łatwiejsze do nauczenia (przez reinforce) niż języki niekompozycjonalne. Tekst krótko zreferuje Tomek Korbak, po czym przejdziemy do dyskusji. Dyskusja będzie zanurzona w naszych poczynaniach związanych z projektem OPUS „Agentowe modele komunikacji symbolicznej wzorowane na procesach rozwoju językowego”, jednak postaramy się uczynić ją zrozumiałą dla osób spoza projektu.

Wydarzenie na Facebooku