국가R&D로 수행 중인(또는 수행된) 연구과제 정보입니다. ■ 과제 개요 · 과제명: LLM 추론 가속을 위한 Sparse Attention Head 예측 기반 HW-SW 공동 최적화 · 예산사업명: 이공학학술연구기반구축 · 기준년도: 2026년 · 총 연구기간: 2026-09-01 ~ 2027-08-31 · 당해연도 연구기간: 2026-09-01 ~ 2027-08-31 · 수집 분야: 사회과학 ■ 수행 주체 · 과제수행기관: 서울시립대학교 · 연구책임자: 이준헌 · 부처명: 교육부 ■ 연구비 (당해년도) · 정부투자연구비: 12,000,000원 ■ 한글키워드 · 대규모 언어 모델 추론, 희소 어텐션, 헤드 활성화 예측, HW-SW 공동 최적화, 메모리 대역폭 최적화 ■ 영문키워드 · Large Language Model Inference, Sparse Attention, Head Activation Prediction, HW-SW Co-design, Memory Bandwidth Optimization ■ 연구내용 본 연구는 HAP와 SPE 두 핵심 모듈의 설계·구현·통합 검증을 4단계로 진행한다.1단계(1~3개월)에서는 PyTorch hook을 활용하여 LLaMA-7B, Mistral-7B 등의 모델에서 layer·head별 attention weight magnitude를 수집하고, 입력 도메인(QA, 코드, 요약)별 activation 패… ■ 원문 확인 · 과제고유번호: 2340066365 · NTIS 과제상세페이지: https://www.ntis.go.kr/project/pjtInfo.do?pjtId=2340066365 (NTIS 로그인 후 조회할 수 있습니다) ※ 출처: 국가과학기술지식정보서비스(NTIS) — 공공저작물 제1유형(출처표시) 위에 없는 상세 정보는 NTIS 과제상세페이지에서 확인해 주세요.