시험 · 인증
엄격한 절차와 공정한 기준으로 소프트웨어 품질을 검증하며,
어니컴 SW 시험센터가 신뢰할 수 있는 인증을 제공합니다.
AI 모델 성능 시험
인공지능(AI) 모델 성능 시험 목적
고도화된 AI 모델은 다양한 환경에서 안정적인 성능을 발휘해야 합니다.
AI 모델 성능 시험은 정량적 지표 기반의 평가를 통해 모델의 정밀도, 예측력을
종합적으로
검증하고, 산업현장과 서비스에 적합한지를 객관적으로 판단하는 데 목적이 있습니다.
대표 시험 사례
어니컴은 법부처 대규모 시증 사업, AI 성능 검증, 데이터 품질 관리 등을
주력으로 수행해왔으며
특히
'24년부터 AI 반도체 성능 검증을 시작으로 AI 반도체 분야 사업을 적극 전개중에 있습니다.
| 사업명 | 수행내역 | 사업기간 | 발주처 | 비고 |
|---|---|---|---|---|
| AI 반도체 Farm 구축 및 실증 사업 용역 | AI 반도체 Farm 반도체社 컨설팅, 데이터 구축 및 가공, 서비스 연동 등 | 2025.05 ~ 2025.12 | NHN클라우드 (NIPA사업) | AI 반도체 성능검증 |
| ’24년 NIPA AI 반도체 Farm 구축 및 실증 사업 제3자 시험검사 용역 | AI 반도체 Farm AI 모델 평가지표 선정 및 검증 등 | 2024.09 ~ 2024.12 | 네이버클라우드 (NIPA사업) | AI 반도체 성능검증 |
| NIA 공공부문 이용 SaaS 개발 | 디지털 공공 서비스 강화를 위한 대국민&웹 성능 모니터링 서비스 | 2024.05 ~ 2025.11 | 한국지능정보사회진흥원(NIA) | 서비스 개발 |
| 매설 수소배관 내외부 환경 고려 지능형 위험 관리 시스템 개발 | 매설 수소배관 내외부 환경 고려 지능형 위험 관리 시스템 개발 | 2024.08 ~ 2024.12 | 한국지능정보사회진흥원(NIA) | AI 반도체 성능검증 |
| 2023년도 유망 SaaS 개발 육성지원 | IMQA 디지털 경험 및 프론트엔드 성능 모니터링 SaaS 개발 및 고도화 | 2023.06 ~ 2023.12 | 한국지능정보사회진흥원(NIA) | 서비스 개발 |
| AI 실증랩 성능평가기준 구축 및 시제품(앱) 성능평가 수행 | AI 관세품 판독 시스템 성능 기준 구축, 시제품 앱 성능 검증 | 2023.05 ~ 2023.12 | (사)무역관련 지식재산권보호협회 | AI 반도체 성능검증 |
| AI 실증랩 데이터 가공 표준화 및 품질컨설팅 | AI 관세품 판독 시스템 데이터 품질관리 | 2023.05 ~ 2023.12 | (사)무역관련 지식재산권보호협회 | AI 데이터 품질관리 |
인공지능(AI) 모델 성능 시험 대상 및 방법
지표 : Accuracy, Precision, Recall, F1-score, Confusion Matrix 등
예: 의학 이미지 분류, 금융 부정거래 탐지
지표 : RMSE, MAE, R² Score 등
예: 수요 예측, 주가 예측, 온도 예측
지표 : BLEU, ROUGE, BERTScore, Hallucination Rate 등
예: 문서 요약, 질의응답, 번역
지표 : WER(Word Error Rate), SER(Sentence Error Rate)
예: 음성비서, 콜센터 응답
지표 : Classification/Detection 성능, mAP, IoU 등
예: 얼굴 인식, 영상 감시, 자율주행 객체 인식
지표 : Cumulative Reward, Success Rate 등
예: 로봇 제어, 게임 플레이 AI
인공지능(AI) 모델 성능 시험 사용 표준
인공지능 분류 모델 평가 지침
인공지능(AI) 시스템의 품질 평가를 위한 지침
