Nové jazykové modely využívajú alternatívy pozornosti (Mamba 2, DeepSeek) a architektúry Mixture of Experts (MoE) na efektívnejšie spracovanie dlhých textov. MoE rozdeľuje prácu medzi „expertmi“, čo zvyšuje kapacitu modelu bez dramatického zvýšenia výpočtovej náročnosti. #Veda #AltkySk https://altky.sk/nove-architektury-jazykovych-modelov-alternativy-pozornosti-a-mixture-of-experts/