오픈AI 모델 가중치 공개와 데이터 노출

🪄 OpenAI GPT-oss 가중치 공개로 훈련 데이터 추론 가능성 대두

공개 모델은 공식적으로 'STEM·코딩·중점 데이터셋'으로만 설명되었으나, 모델 파라미터 분석을 통해 실제 훈련 데이터의 구체적 특성(예: 성인 사이트 문구, 비ASCII 언어 토큰)을 식별 가능함이 확인됨. 특히 L2 노름이 낮은 토큰은 희귀/특수 문자, 높은 토큰은 영어 코드·추론 관련 단어로 구분됨.

아브하지어 입력에 말라얄람어 출력 등 비정상 응답 실험을 통해, 특정 토큰이 훈련 데이터에 포함됐음을 입증하는 membership inference 기법 개발. 비ASCII 고노름 토큰 중 상당수가 성인 사이트(도박·정치 관련) 및 스팸 데이터와 연관되어 있으며, 이는 Github 등에서의 자동화된 데이터 수집 과정에서 유입된 것으로 추정됨.

⚠️ 보안 위험과 기술적 시사점

훈련 데이터 유출 가능성 외에도, 글리치 토큰을 이용한 DoS 공격·모델 식별 등의 보안 위협 존재. Frontier AI 연구소들은 토크나이저 내 비정상 문자열 사전 차단 및 모델 배포 전 보안 검증 절차 강화 필요성 제기됨.

토큰별 Github 검색 빈도와 모델 인식률 간 유의미한 상관관계(스피어만 ρ=0.448) 확인. 이는 훈련 데이터 일부가 오픈소스 플랫폼에서 유래했음을 시사함.