22 Меѓународна конференција за информатика и информатички технологии – CIIT 2025

Меѓународната конференција за информатика и информациски технологии е 22-та по ред од серијата конференции организирани од Факултетот за компјутерски науки и инженерство (ФИНКИ). Како дел од конференцијата, Националниот центар за компетенции на Северна Македонија, во соработка со HE ERA Chair AutoLearn-SI, HE MSCA PF AutoLLMSelect и со поддршка од Словенечката AI Factory, на 25.04.2025 година, со почеток во 16:30 часот, ги организира и ќе ги одржи следните презентации:

Наслов: Искористување на податоци од бенчмаркинг за автоматизирана оптимизација
Предавач: Томе Ефтимов
Институција: Институт „Јожеф Штефан“, Љубљана, Словенија

На почетокот на 2022 година, заедницата за еволутивни пресметки објави повик за акција со кој се истакнуваат значајни проблеми со метафорички заснованите метахеуристики во оптимизацијата на „црна кутија“ (BBO): бескорисни метафори, ограничена новина и пристрасна експериментална валидација. Ова предавање претставува најнови достигнувања во бенчмаркингот за добивање сигурни и робусни резултати, како и мета-учење за избор на алгоритми. Се фокусираме на два методи:
i) избор на репрезентативни податочни инстанци за генерализирање на резултатите од истражувањето, и
ii) користење на отпечатоци од алгоритми за идентификување на лесни или предизвикувачки проблеми врз основа на карактеристиките на просторот на решенија.
Конечната цел е парадигматски поместување кон намалување на расфрлањето со ресурси и дуплирани напори, забрзување на напредокот и овозможување ефикасна автоматизирана конфигурација и избор на алгоритми преку преносливи сознанија.

Наслов: Робустно и интерпретабилно рангирање на големи јазични модели засновано на кориснички преференци
Предавач: Ана Ѓорѓевиќ
Институција: Институт „Јожеф Штефан“, Љубљана, Словенија

Ова предавање претставува транспарентни бенчмаркинг сценарија за големи јазични модели (LLM), кои им овозможуваат на корисниците да ги оценуваат моделите според свои специфични потреби, како што се ефективност, хардверски ограничувања и барања на апликации. Користејќи добро воспоставен метод за мултикритериумска одлука, се генерираат бенчмаркинг сознанија кои ги одразуваат преференците на корисниците, под претпоставка дека почетните чекори како избор на бенчмарк податочни множества и дефинирање на LLM портфолио се веќе извршени.
LLM моделите се оценуваат преку избрани податочни множества со балансирање на перформансите и употребата на ресурси, со вклучување на повратни информации од корисниците во метриките кога е релевантно. Преку два експерименти—еден со агрегирање на перформансите низ различни податочни множества и друг со комбинирање на повеќе метрики на едно податочно множество—се покажува како корисничките приоритети влијаат на интерпретабилно и робустно рангирање на LLM моделите. Овој пристап ја зајакнува релевантноста на резултатите од бенчмаркингот и овозможува беспрекорна интеграција во бенчмаркинг платформи.

Линк за онлајн учество: www.teams.microsoft.com