"AI 거버넌스는 모델의 성능을 통제하는 일이 아니라, 모델의 결과를 책임지는 사람을 정하는 일이다." — Gartner, 2025 AI Governance Survey

2026년 8월 2일, EU AI Act의 고위험 AI 시스템 조항이 적용 시작된다. McKinsey의 State of AI 2025에 따르면 전체 기업의 88%가 적어도 한 가지 비즈니스 기능에 AI를 활용하지만, 자사 AI 전략이 성숙 단계에 도달했다고 답한 곳은 단 1%에 불과하다. 즉 대부분의 제조 기업이 "운영 중인 AI는 있지만, 거버넌스는 없는" 상태로 새 규제를 맞이하고 있다.

이 글은 제조 현장에서 EU AI Act가 실제로 무엇을 요구하는지, 어떤 시스템이 고위험으로 분류되는지, 그리고 ISO 42001과 NIST AI RMF 같은 글로벌 표준이 컴플라이언스 작업을 어떻게 간소화하는지를 살펴본다. 마지막으로 코펜스 PlantPulse 플랫폼이 이러한 거버넌스 요구사항을 어떻게 첫날부터 내장 가능한 구조로 풀어내고 있는지 정리한다.

거버넌스는 별도의 단계가 아니라, AI 운영의 모든 레이어에 내장되어야 한다.

---

1. EU AI Act 타임라인 — 무엇이 언제 시작되는가

2025년 2월 2일부터 금지 AI 조항과 AI 리터러시 의무가 이미 발효되었다. 같은 해 8월 2일에는 거버넌스 인프라(통보 기관, 적합성 평가 체계)와 범용 AI 모델 의무가 시작되었다. 핵심 분기점은 2026년 8월 2일 — Annex III에 명시된 고위험 AI 시스템 규제가 본격 적용되고, 국가·EU 차원의 집행이 동시에 시작된다.

법무 자문사 Kennedys Law와 Holland & Knight는 한 가지 중요한 변화를 추적 중이다. 유럽 집행위원회는 2025년 11월 19일 Digital Omnibus on AI를 발표했고, 잠정 합의안에는 고위험 컴플라이언스 데드라인을 2027년 12월 2일로 연기하는 내용이 포함되어 있다. 단 최종 채택은 아직 보류 상태다. 제조 기업은 두 시나리오 모두를 가정한 준비 일정을 짜야 한다.

규제 미준수 시 벌금은 최대 3,500만 유로 또는 글로벌 매출의 7% — GDPR보다 높은 수준이다.

2. 제조 AI는 왜 "고위험" 분류 대상인가

Annex III는 다양한 고위험 사용 사례를 열거하지만, 제조 현장에서 가장 자주 걸리는 항목은 "안전 컴포넌트" 조항이다. AI 시스템이 제품 안전과 직결되는 의사결정을 내리면 자동으로 고위험으로 분류된다.

대표적 제조 시나리오는 다음과 같다.

• 발전 설비, 압력 용기 등 안전 기기 대상 예지 보전 AI
• 제품 결함을 판정하고 출하 여부를 결정하는 비전 검사 AI
• 산업 로봇의 충돌 회피 및 작업자 안전 보호 알고리즘
• 화학·반응 공정의 실시간 제어 모델
• 사이버-피지컬 시스템에서 작업자 노출을 판단하는 안전 인터록

규제 컨설팅사 Unorma는 "발전소 설비를 대상으로 한 예지 보전 시스템은 Annex III 범위 안에 명확히 포함된다"고 분석한다. 단순한 운영 효율화 도구처럼 보이는 모델도, 운전 의사결정에 통합되는 순간 컴플라이언스 대상이 된다.

3. 거버넌스의 7가지 의무 — 문서화부터 인간 감독까지

EU AI Act Article 16~17은 고위험 AI 제공자에게 다음 의무를 부과한다.

• 기술 문서화 — 데이터 소스, 학습 방법, 검증 결과, 알려진 한계를 포함하는 상세 문서. 적합성 평가의 기초가 된다.
• 품질 관리 시스템(QMS) — ISO 9001과 유사하지만 AI 특화. 설계, 개발, 테스트, 위험 관리, 데이터 처리, 사후 모니터링까지 포괄한다.
• 데이터 거버넌스 — 학습·검증·테스트 데이터의 대표성, 편향, 무결성 관리.
• 로깅 — 시스템 행위와 의사결정을 추적 가능하게 자동 기록. 사후 사고 조사가 가능해야 한다.
• 인간 감독 — 자동 의사결정에 인간이 개입할 수 있는 인터페이스와 절차.
• 정확성·견고성·사이버보안 — 적절한 수준을 정량적으로 입증.
• CE 마킹 및 EU 데이터베이스 등록 — 시장 출시 전 적합성 평가와 공식 등록.

특히 로깅과 인간 감독은 운영 시스템의 아키텍처를 직접적으로 바꾼다. 운영 데이터를 캡처하지 않은 AI는 사실상 미준수 상태가 된다.

로깅, 감사 추적, 데이터 계보는 AI 거버넌스의 가장 비싼 부채다. 늦게 만들수록 비싸진다.

4. ISO 42001, NIST AI RMF — 표준 프레임워크의 역할

ISO/IEC 42001:2023은 AI 관리 시스템(AIMS, AI Management System)을 위한 첫 국제 표준이다. 38개 통제 항목으로 구성되며, EU AI Act가 요구하는 QMS의 사실상의 구현 가이드 역할을 한다. KPMG와 BSI 모두 "ISO 42001 인증은 EU AI Act 컴플라이언스의 직접적인 증거가 될 수 있다"고 평가한다.

NIST AI RMF 1.0은 미국 표준이지만 글로벌 산업계가 광범위하게 채택 중이다. Govern, Map, Measure, Manage 4개 함수로 구성되며, 라이프사이클 전반의 위험 관리에 초점을 둔다. 제조업체 입장에서 두 표준을 함께 채택했을 때의 가치는 다음과 같다.

• EU와 미국 양쪽 시장에 동시 대응 가능한 단일 거버넌스 체계
• 적합성 평가에서 일관된 문서 양식 활용
• 공급망 전반(부품 공급사, OT 벤더, 클라우드 사업자)에 동일한 기대치 적용
• 내부 감사와 외부 인증의 통합 운영

Gartner의 2025년 1,800여 명 임원 조사에 따르면 55%의 조직이 AI 보드 또는 거버넌스 위원회를 두고 있지만, CEO가 직접 거버넌스 책임을 맡는 비율은 28%에 머문다. 표준 채택 없이 위원회만 두는 방식은 한계가 명확하다.

5. MLOps 파이프라인에 거버넌스를 내장하는 법

거버넌스가 사후 감사 작업으로 끝나면 비용은 폭발한다. 성숙한 조직은 MLOps 파이프라인 자체에 거버넌스 게이트를 내장한다.

• 데이터 게이트 — 학습 데이터 진입 시 출처, 라이선스, 편향 메트릭, PII 스캔을 자동 실행. 통과하지 못한 데이터셋은 학습에 사용 불가.
• 모델 게이트 — 검증 단계에서 정확도, 견고성(adversarial robustness), 공정성 메트릭을 측정. 모델 카드 자동 생성.
• 배포 게이트 — 위험 수준에 따라 인간 승인, 카나리 배포, 인간 감독 인터페이스 필수화.
• 운영 게이트 — 모든 추론 호출에 대해 입력·출력·신뢰도·운영자 ID 로깅. 드리프트 탐지 시 자동 알림과 롤백.
• 폐기 게이트 — 모델 폐기 시 데이터 보존, 사용자 통지, 재학습 정책 적용.

Schellman의 ISO 42001 가이드는 "MLOps 파이프라인에 공정성 모니터링을 내장하면, 거버넌스는 1회성 점검이 아니라 일상 운영이 된다"고 강조한다. 이는 제조 환경에서 더욱 중요하다 — 모델이 가동 중인 설비를 다루는 순간, 거버넌스 누락은 곧 안전 사고로 이어진다.

사례 — 외부 자료 인용

Nexastack의 2025년 보고서는 한 글로벌 자동차 부품 제조사가 예지 보전 모델 30여 개를 운영하면서 직면한 문제를 분석한다. 모델 자체는 잘 작동했지만 "어느 모델이 어떤 의사결정에 사용되는지", "마지막으로 재학습된 시점이 언제인지", "운영자가 모델 권고를 무시한 빈도는 얼마나 되는지"를 추적할 방법이 없었다. EU AI Act 사전 진단 결과, 30개 중 18개가 고위험으로 분류되었고 그중 11개는 적합성 평가 준비가 안 된 상태였다.

이 회사는 거버넌스 게이트가 내장된 MLOps 파이프라인으로 전환한 뒤, 모델당 평균 컴플라이언스 준비 시간을 6주에서 9일로 단축했다. 핵심은 "사후 수집"이 아니라 "운영 중 자동 캡처"였다.

PlantPulse가 답하는 방식

코펜스 PlantPulse는 산업 데이터옵스(Industrial DataOps) 플랫폼으로 출발했지만, 2025~2026년 로드맵의 가장 큰 축은 "거버넌스 내장형 AI 운영"이다. PlantPulse는 200여 종의 산업 프로토콜을 통해 현장 데이터를 수집하고, ISA-95 자산 모델 위에 AI 모델의 운영 컨텍스트를 매핑한다. 모든 AI 추론 호출은 자산-시간-운영자-입력-출력-신뢰도 6축으로 자동 로깅되며, 이는 EU AI Act Article 12 요구사항을 그대로 충족한다.

또한 PlantPulse는 ISO 42001의 38개 통제 항목을 운영 메트릭으로 변환해 대시보드로 노출한다. 모델 카드, 데이터 계보, 드리프트 알림, 인간 감독 인터페이스가 플랫폼 표준 기능으로 제공되어, 제조 기업은 별도의 GRC(Governance, Risk, Compliance) 도구를 운영하지 않고도 적합성 평가 문서를 자동 생성할 수 있다.

마치며

EU AI Act는 단순히 유럽 시장에 진출하는 기업만의 문제가 아니다. 글로벌 OEM과 거래하는 한국 제조사 대부분이 공급망 거버넌스 요구를 통해 간접적으로 동일한 의무를 떠안게 된다. 2026년 8월(혹은 2027년 12월)까지 남은 시간을 "기존 AI를 어떻게 컴플라이언스화할 것인가"가 아니라 "거버넌스를 운영 아키텍처에 어떻게 내장할 것인가"의 질문으로 풀어야 한다.

기술 부채 중 가장 비싼 부채는 거버넌스 부채다. 모델이 운영에 들어간 뒤에 데이터 계보를 거꾸로 재구성하는 비용은, 처음부터 캡처하는 비용의 수십 배에 달한다. 지금 시점에 던져야 할 질문은 단순하다 — 우리 AI 모델 중 몇 개가 Annex III 고위험에 해당하는가, 그리고 그 모델의 작년 한 해 동안의 모든 추론 호출을 우리는 입증할 수 있는가. (관련 자료: EU Commission "Navigating the AI Act" 2026; Kennedys Law "EU AI Act Implementation Timeline" 2026; Holland & Knight "U.S. Companies Face EU AI Act's August 2026 Compliance Deadline" 2026; McKinsey "State of AI 2025"; Gartner "AI Governance Survey 2025"; Unorma "Annex III High-Risk AI Examples"; Schellman "AI Governance & ISO 42001 FAQs 2026"; Nexastack "AI Governance in Manufacturing"; NIST "AI RMF 1.0".)

© KOPENS — Industrial DataOps & PlantPulse Platform

Powered by Froala Editor