양자내성암호 표준은 왜 아직 끝나지 않았나: NIST 3라운드 서명 후보 9개의 의미

짧은 결론: 표준화는 끝났을까, 진행 중일까?

보안 담당자가 “양자내성암호는 이제 표준이 나온 건가요, 아직 기다려야 하나요?”라고 묻는다면 답은 둘로 나뉩니다. 이미 표준 체계에 들어간 축이 있고, 아직 추가 검증 중인 서명 후보가 있어요.

NIST가 2026년 5월 14일 포스트양자암호(PQC, post-quantum cryptography) 추가 디지털 서명 후보 9개를 3라운드로 올렸다는 소식은 표준화가 제자리라는 뜻이 아닙니다. 더 정확히는 ‘이미 표준화된 축’ 위에 ‘추가 서명 포트폴리오’를 얹기 위한 좁혀 가기 단계입니다.

구분	지금의 의미
이미 표준 체계에 들어간 서명	FIPS 204(ML-DSA), FIPS 205(SLH-DSA) 등 이미 확정된 표준입니다. (ML-DSA는 Dilithium 계열, SLH-DSA는 상태 비저장 해시 기반 서명)
2026년 5월 3라운드 후보	표준이 아니라 추가 평가 대상입니다. 후보팀은 수정 사양과 구현을 제출할 수 있습니다.
이 발표를 읽는 관점	표준화 절차의 미완료 의미와 포트폴리오 보강 관점에서 봐야 합니다.

이 발표를 읽을 때 가장 경계해야 할 오해는 “9개나 남았으니 아직 아무것도 정해지지 않았다”는 식의 해석이에요. NIST 문서의 방향은 오히려 반대에 가깝습니다. 기본 포트폴리오는 이미 있고, 이번 절차는 그 포트폴리오를 더 넓고 견고하게 만들기 위한 추가 검증입니다.

무엇이 발표됐나: 9개 후보의 3라운드 진출

NIST는 추가 디지털 서명 표준화 절차에서 18개월 평가를 거쳐 9개 알고리즘을 3라운드 후보로 선정했습니다. 후보는 다음과 같습니다.

계열	3라운드 후보
격자 기반	HAWK
MPC-in-the-Head	FAEST, MQOM, SDitH
다변수 기반	UOV, MAYO, QR-UOV, SNOVA
아이소제니 기반	SQIsign

NIST 공식 발표는 후보 목록과 다음 절차를 알렸고, NIST IR 8610은 2라운드 평가의 기술적 배경을 정리합니다.

NIST IR 8610은 이 후보들이 최종 선정될 경우 기존의 FIPS 204(ML-DSA), FIPS 205(SLH-DSA), FIPS 186-5, SP 800-208을 보강하게 된다고 설명합니다. 이 문장 하나가 이번 발표의 성격을 잘 보여줘요. 새 후보는 기존 표준을 대체하러 나온 것이 아니라, 포스트양자 디지털 서명 선택지를 넓히기 위해 평가되는 중입니다.

일정도 아직 진행형입니다. NIST는 3라운드 후보 제출팀이 사양이나 소스 코드의 문제를 고치기 위한 수정 패키지를 2026년 8월 14일까지 낼 수 있다고 밝혔습니다. 또 2027년 상반기에 NIST PQC 표준화 회의를 열 계획이라고 설명했습니다.

증거 수준: 공식 발표와 기술 보고서의 의미

이번 사안의 근거는 두 종류의 NIST 문서입니다.

첫째, NIST 공식 뉴스는 2026년 5월 14일 9개 후보가 3라운드로 올라갔다는 사실, 후보 목록, 앞으로 약 2년가량 평가와 검토가 이어질 예정이라는 점을 알렸습니다.

둘째, NIST IR 8610은 기술 보고서입니다. 2라운드 평가 기준, 14개 후보에서 9개 후보로 좁힌 이유, 보안성·성능·구현 특성에 대한 평가 방향을 설명합니다. 여기서 후보별 장단점을 단정하지 않고 ‘NIST가 어떤 이유로 더 보겠다고 했는가’에 초점을 맞추는 이유도 여기에 있어요.

이 자료들은 표준기관의 공식 문서이지만, 3라운드 후보의 최종 안전성을 보장하는 문서는 아닙니다. 후보 알고리즘은 추가 분석, 수정, 공개 검토를 거치는 중입니다. 따라서 이 문서들은 ‘평가 진행 중’이라는 증거 수준을 보여줍니다.

왜 서명 알고리즘 포트폴리오를 다양화할까

양자내성암호를 생각할 때 흔히 “가장 안전한 알고리즘 하나를 고르면 되지 않나”라고 묻습니다. 하지만 표준화에서는 하나의 수학적 가정, 하나의 구현 방식, 하나의 성능 프로필에 모든 사용처를 맡기는 것이 오히려 부담이 됩니다.

NIST IR 8610은 추가 디지털 서명 절차의 배경을 이렇게 설명합니다. 초기 포스트양자 표준은 견고한 보안을 제공하지만, 기존 일반 목적 서명 중 일부가 구조화 격자 기반이므로 포트폴리오를 더 다양화할 필요가 있었다고 말이죠. 그래서 NIST는 비격자 기반 일반 목적 서명, 짧은 서명, 빠른 검증에 최적화된 서명을 찾고 있습니다.

여기서 중요한 판단 기준은 ‘수학적으로 달라야 한다’와 ‘현장에서 쓸 수 있어야 한다’가 동시에 필요하다는 점이에요. 공개키가 너무 크면 인증서나 프로토콜에 부담이 될 수 있고, 서명이 너무 크면 전송량과 저장 공간이 문제가 됩니다. 검증이 느리면 코드 서명이나 펌웨어 업데이트처럼 대량 검증이 필요한 곳에서 병목이 생길 수 있습니다.

그래서 후보 9개는 단순한 순위표가 아닙니다. 서로 다른 실패 모드와 장점을 비교하기 위한 실험대에 가깝습니다. 각 후보 계열이 기존 FIPS 포트폴리오의 어떤 빈칸을 보강하려 하는지 분류해 보면 더 명확해집니다.

• HAWK (격자 기반 보강): NIST IR 8610에 따르면, HAWK는 기존 표준인 Dilithium이나 Falcon과 같은 격자 기반이지만, Falcon보다 작은 서명 크기와 부동소수점 연산을 피하는 구현상 장점이 언급됩니다. 이는 기존 격자 기반 서명 포트폴리오를 보강하고 선택의 폭을 넓히는 역할을 합니다.
• MPC-in-the-Head 계열 (FAEST, MQOM, SDitH): 이 계열은 보수적인 보안 가정과 복잡한 설계·증명을 함께 안고 있습니다. NIST는 이 계열에서 추가 분석이 필요하다고 보면서도, 격자 기반이 아닌 수학적 다양성을 제공한다는 점에서 중요한 후보로 평가합니다.
• 다변수 기반 계열 (UOV, MAYO, QR-UOV, SNOVA): NIST IR 8610은 이 후보들이 성능상 매력적인 지점이 크고, 비격자 기반이라는 점에서 다양성을 더한다고 평가합니다. 2라운드 중 일부 파라미터와 관련한 공격 논의가 있었지만, NIST는 깨지지 않은 파라미터와 성능 가능성을 이유로 평가를 계속합니다. 이는 특정 사용처에서 성능 최적화를 위한 대안이 될 수 있습니다.
• 아이소제니 기반 (SQIsign): NIST IR 8610 평가에서 SQIsign은 후보 중 키와 서명을 합친 크기가 가장 작고, 수학적 가정이 다른 아이소제니 기반이라는 점에서 알고리즘 다양성을 크게 더합니다. 이는 제한된 저장 공간이나 대역폭 환경에서 특히 유용할 수 있습니다.

이 대목에서 가져갈 수 있는 실용적 해석은 간단합니다. 후보 이름을 외우는 것보다, 표준기관이 어떤 종류의 다양성을 찾는지 보는 편이 더 유용해요. 수학적 가정의 다양성, 키·서명 크기의 균형, 검증 속도, 제한된 하드웨어에서의 구현 가능성, 공개 분석의 성숙도가 함께 움직입니다.

표준과 후보, 어떻게 구분해야 할까

이번 발표를 읽을 때 가장 중요한 것은 ‘확정된 표준’과 ‘평가 중인 후보’를 명확히 구분하는 일입니다. “어떤 후보를 지금 써야 하지?”라는 질문으로 시작하면 길을 잃기 쉽습니다. 더 나은 질문은 “어떤 주장이 확정이고 어떤 주장이 평가 중인가?”입니다.

NIST가 이미 표준으로 확정한 양자내성암호는 FIPS 204(ML-DSA)와 FIPS 205(SLH-DSA) 등입니다. ML-DSA는 CRYSTALS-Dilithium 계열을 포함하며, SLH-DSA는 상태 비저장 해시 기반 서명입니다. 이들은 이미 충분한 검증을 거쳐 공식 표준으로 지정되었으므로, 양자내성암호 전환 계획을 세울 때 우선적으로 고려해야 할 대상입니다.

반면, 이번 3라운드 후보 9개는 아직 평가가 진행 중인 단계입니다. 후보로 선정되었다는 것은 NIST가 추가 검토할 가치가 있다고 판단했다는 의미이지, 최종 안전성이 보장되거나 운영 표준으로 확정되었다는 뜻은 아닙니다.

후보 알고리즘의 사양이나 소스 코드에 대한 수정 패키지가 제출될 때, 그 변화의 폭을 해석하는 것도 중요합니다. 수정이 작고 명확하다면 알고리즘의 성숙도가 높다고 볼 수 있지만, 알고리즘의 핵심 구조를 변경할 만큼 큰 변화라면 아직 해결되지 않은 문제가 남아있을 가능성을 시사합니다. NIST는 2026년 8월 14일까지 수정 패키지를 받을 예정입니다.

따라서 3라운드 후보를 성급하게 적용하기보다는, 이미 표준화된 체계와 아직 평가 중인 후보를 문서상에서 분리하고 각 후보가 어떤 종류의 증거를 더 필요로 하는지 이해하는 것이 중요합니다.

흔한 오해 세 가지

첫 번째 오해는 “NIST가 아직도 후보를 고르고 있으니 포스트양자암호는 미완성”이라는 생각입니다. IR 8610은 추가 후보가 기존 FIPS 204(ML-DSA), FIPS 205(SLH-DSA), FIPS 186-5, SP 800-208을 보강한다고 설명합니다. 이번 절차는 전체 표준화의 출발점이 아니라 추가 포트폴리오 확장입니다.

두 번째 오해는 “3라운드 진출이면 사실상 표준”이라는 생각이에요. NIST는 수정 패키지를 허용하고, 공개 암호 분석과 성능 자료를 더 요청하고 있습니다. 특히 후보별로 남은 질문이 다릅니다. 후보가 살아남았다는 사실은 의미가 크지만, 운영 표준으로 확정됐다는 뜻은 아닙니다.

세 번째 오해는 “성능이 가장 좋은 후보가 이길 것”이라는 생각입니다. NIST의 평가 기준은 보안성, 비용과 성능, 알고리즘 및 구현 특성을 함께 봅니다. 작고 빠른 후보가 매력적인 것은 맞지만, 보안 근거와 구현 안정성이 따라오지 않으면 표준화 판단은 달라질 수 있습니다.

다음 관찰 포인트: 절차의 신호를 읽는 법

앞으로 볼 지점은 후보 이름의 순위가 아니라 절차의 신호입니다.

가장 가까운 날짜는 2026년 8월 14일입니다. 3라운드 후보 제출팀은 이때까지 수정된 사양과 구현 패키지를 낼 수 있습니다. 수정이 작고 명확한지, 아니면 알고리즘 성숙도에 의문을 줄 만큼 큰 변화인지가 관찰 지점입니다.

그다음은 공개 분석입니다. NIST는 보안 주장에 대한 지지 또는 반박, 최적화 구현, 제한된 플랫폼과 하드웨어 구현에 대한 성능 자료를 원한다고 밝혔습니다. 표준화에서 ‘많이 쓰고 싶다’보다 강한 신호는 ‘여러 사람이 공격해 봤고, 구현해 봤고, 그래도 남았다’에 가깝습니다.

마지막으로 2027년 상반기 예정된 NIST PQC 표준화 회의가 있습니다. 이 회의에서 후보팀의 업데이트와 커뮤니티 반응을 보면, 어떤 후보가 안정권에 가까워지는지 조금 더 분명해질 가능성이 있습니다.

이번 발표의 핵심은 불안이 아니라 분류입니다. 이미 표준 체계에 들어간 것, 3라운드 후보로 더 검증해야 하는 것, 그리고 각 후보가 어떤 다양성을 제공하는지 나눠 보는 편이 정확합니다. 양자내성암호 전환은 그때부터 훨씬 덜 막연해질 거예요.