ASLA 테스트 랩
학습 전에 쓸데없는 데이터를 걸러내면 무엇이 달라지나 — 내 맥에서 실제로 AI를 학습시켜 측정한 결과
데이터 모음
가르칠 원본
① 데이터 청소
학습 전 · 쓸데없는 것 걸러냄
AI 학습
걸러진 데이터로
② 결과물 검사
학습 후 · 배포 전 시험
실서비스 투입
합격하면 배포
ASAL은 학습 과정 두 곳에서 문지기 역할을 합니다.
① 사전(학습 전) = 쓸데없는 데이터를 미리 걸러 AI가 엉뚱한 답을 안 하게 막는 것. ② 사후(학습 후) = 다 만든 결과물을 배포 전에 검사해 이상하면 막는 것. 둘은 하는 일이 다르고 서로 못 대신합니다. 이 화면은 ① 사전(학습 전) 효과를 「기본(안 거름)」과 비교한 것입니다.
① 사전(학습 전) = 쓸데없는 데이터를 미리 걸러 AI가 엉뚱한 답을 안 하게 막는 것. ② 사후(학습 후) = 다 만든 결과물을 배포 전에 검사해 이상하면 막는 것. 둘은 하는 일이 다르고 서로 못 대신합니다. 이 화면은 ① 사전(학습 전) 효과를 「기본(안 거름)」과 비교한 것입니다.
이번에 만들려는 AI — 학습 전에 정한 목표
“나는 인공지능·기계학습 분야 연구를 도와주는 AI를 만들고 싶다. 연구 제목을 주면 그 분야 흐름에 맞는 초록(요약)을 대신 써주는 조수 역할을 해야 한다. 우주물리나 뇌과학 같은 다른 분야 얘기는 섞이면 안 된다.”
이 목표가 선별의 기준이 됩니다. ASAL은 "좋은 데이터냐"가 아니라 "이 목표에 필요한 데이터냐"를 기준으로 학습에 넣을지 말지를 정합니다.
데이터를 어떻게 준비했나
논문 수집
arXiv 실제 논문 1,440편
본문 추출
제목 + 초록 텍스트로 정리
벡터화
문장을 숫자(벡터)로 변환
의미 비교
목표와의 의미 거리 계산
판정
배움 / 보류 / 버림
RAG에서 쓰는 방식과 같습니다 — 문서를 벡터(숫자)로 바꿔 놓고, 만들려는 AI의 목표와 의미가 얼마나 가까운지를 계산해 학습에 넣을지 정합니다.
이번에 적용한 ASAL 알고리즘
ASAL은 6가지 판단 요소로 학습 여부를 정합니다. 이번 테스트는 그중 일부만 적용했습니다.
✓ 적용함
의미 관련도 (Sem) — 목표와 의미가 가까운가
새로움 (Novelty) — 이미 있는 것과 중복인가
4단 판정 — 배움 / 보류 / 버림
새로움 (Novelty) — 이미 있는 것과 중복인가
4단 판정 — 배움 / 보류 / 버림
아직 미적용 (개발 중)
호환성 (Compat) · 유용성 (Utility)
신뢰 (Trust) · 위험도 (Risk)
온톨로지(지식 관계도) 기반 판단
신뢰 (Trust) · 위험도 (Risk)
온톨로지(지식 관계도) 기반 판단
즉 ASAL의 일부 기능만 켠 상태에서 나온 결과입니다. 나머지 요소와 온톨로지까지 붙이면 더 정밀해질 여지가 남아 있습니다.