Amazon Bedrock 중심의 메타데이터 보정 인프라와 순환 워크플로우

데이터 소스마다 명명 규칙과 구조가 달라 표준화 작업에 시간이 소요되는 병목 현상이 발생한다. 이를 해결하기 위해 Amazon Bedrock과 S3, DynamoDB, ECS를 결합한 순환형 메타데이터 보정 워크플로우를 구축했다. 이 시스템은 파편화된 메타데이터 소스 간의 일관성과 상호 운용성을 확보하여 데이터 정제에 드는 수작업 시간을 단축한다.

인프라의 핵심은 서버리스 서비스와 컨테이너 기반 컴퓨팅의 조합이다. LLM(거대언어모델) 기반의 스키마 정렬과 보정 추천은 Amazon Bedrock이 담당하며, 정렬된 스키마와 최종 결과물은 Amazon S3에 저장하여 데이터 영속성을 확보한다. 작업의 진행 상태를 실시간으로 관리하는 Job tracking은 Amazon DynamoDB가 수행하고, 사용자 접근 제어와 인증은 Amazon Cognito가 처리한다. 실제 연산에 필요한 컴퓨팅 자원은 Amazon ECS가 제공하여 데이터 규모에 따른 부하를 유연하게 처리한다.

전체 워크플로우는 데이터 업로드부터 최종 승인까지 이어지는 순환 구조로 작동한다. 사용자가 데이터를 업로드하면 시스템은 스키마 정렬과 필드 검증을 동시에 수행하는 병렬 검증 단계로 진입한다. 이후 LLM이 도출한 최적의 보정 추천안을 생성하며, 마지막으로 사용자가 이를 검토하고 확정하는 Human-in-the-loop(인간 참여형) 구조를 통해 데이터의 정확성을 최종 보장한다. 이 모든 과정은 스키마 정렬, 데이터 무결성 검증, 보정 추천 생성을 통합 관리하는 하모니제이션 패키지에 의해 제어된다.

LLM 기반 스키마 정렬과 3단계 필드 검증 메커니즘

스키마 정렬은 단순한 퍼지 문자열 매칭(Fuzzy string matching) 대신 LLM을 도입해 수작업으로 처리하던 컬럼 구조 조정의 병목을 해결한다. LLM은 업계 전문 용어를 인식해 서로 다른 이름의 컬럼이 실제로는 같은 의미를 지니는지 판단하며, 단순 일치를 넘어 컬럼 분할이나 결합 같은 구조적 변경을 수행한다. 예를 들어 하나의 컬럼에 섞여 들어온 이름과 성별 정보를 두 개의 독립된 필드로 나누거나, 흩어진 주소 정보를 하나로 합치는 식이다. 이는 도메인 지식 기반의 데이터 표준화를 가능하게 한다.

필드 검증의 첫 단계인 필수 필드 검증(Required field validation)은 데이터의 누락 여부를 식별하여 데이터셋의 최소 무결성을 보장한다. 시스템은 필수 항목이 완전히 비어 있거나, 값이 입력되지 않았거나, 혹은 의미 없는 공백 문자만 포함된 경우를 찾아내어 플래그를 지정한다. 특히 샘플 식별자와 같이 데이터의 고유성을 결정하는 필수 정보가 누락된 행은 분석 단계에서 오류를 일으킬 수 있으므로, 후속 처리 단계 전 최우선적으로 식별해 사용자에게 알린다.

두 번째 단계인 열거형 값 검증(Enumerated value validation)은 입력된 값이 미리 정의된 제어 어휘집(Controlled vocabularies)과 일치하는지 대조한다. 시퀀싱 시스템과 같은 특정 장비 유형만 허용되는 필드에 목록에 없는 임의의 값이 입력되면 이를 즉시 검증 오류로 처리한다. 이를 통해 연구자가 자유 형식으로 텍스트를 입력할 때 발생하는 오타나 서로 다른 표기법이 표준화된 필드에 섞여 들어오는 것을 차단하여 데이터셋 전체의 일관성을 유지한다.

마지막 패턴 검증(Pattern validation)은 정규 표현식(Regular expression)을 사용해 데이터의 세부 형식을 확인한다. 날짜 필드의 경우 `YYYY-MM-DD` 형식을 엄격하게 준수해야 하며, 식별자 필드는 정해진 알파벳과 숫자의 조합 패턴을 따라야 한다. 시스템은 입력된 모든 값이 이 정규식 패턴에 부합하는지 전수 조사하며, 형식이 어긋난 값은 보정 대상으로 분류한다. 이러한 3단계 검증 체계는 LLM의 유연한 정렬과 정규식의 엄격한 검증을 결합해 데이터의 정확도를 높인다.

비용 최적화를 위한 계층적 추천 구조와 Amazon Titan의 역할

정교한 LLM 기반 보정은 연산 비용을 증가시키므로, 이를 최적화하기 위해 고전적 NLP와 임베딩 기반 유사도 검사를 우선 수행하고 신뢰도가 낮은 경우에만 LLM을 호출하는 계층적 아키텍처를 적용했다. 모든 요청을 LLM으로 처리하면 토큰 사용량에 따라 비용이 증가하므로, 단순 매칭이나 통계적 기법으로 해결 가능한 영역을 먼저 필터링한다. 시스템은 각 단계에서 계산된 신뢰도 점수가 임계값에 도달하지 못한 모호한 사례에 대해서만 LLM에 질의함으로써 추론 비용의 상한선을 제어한다.

벡터 임베딩을 활용해 메타데이터 값의 의미론적 유사성을 비교하고 임계값 기반의 정밀한 보정을 수행한다. 텍스트를 다차원 공간의 수치 벡터로 변환하여 단어 사이의 의미적 거리를 계산함으로써 동의어나 약어, 약칭을 정확하게 매핑한다. 구체적으로 Human이라는 단어를 Homo sapiens라는 학명으로 연결하거나 NYC라는 약어를 New York City라는 정식 명칭으로 변환하는 작업이 이 단계에서 처리되어 전체 시스템의 응답 속도를 높인다.

모델 선정 단계에서는 도메인 특화 생물 의학 모델과 Amazon Titan을 비교 평가하여 일반 작업 성능과 확장성이 우수한 Amazon Titan을 최종 선택했다. 생물 의학 분야의 전문 지식 처리 능력을 검증한 결과, Amazon Titan이 제공하는 범용적 추론 능력이 다양한 메타데이터 보정 시나리오에서 더 유연하게 작동했다. 특히 대규모 데이터셋을 처리할 때 발생하는 처리량 확장성 면에서 우위에 있었으며, 일반적인 텍스트 정제 작업과 전문 용어 매핑 작업 모두에서 안정적인 성능을 기록했다.

운영 효율을 극대화하기 위해 Amazon Bedrock의 관리형 추론 환경을 사용했다. 모델 서버를 직접 프로비저닝하고 GPU 자원을 할당하며 런타임을 관리하는 수동 작업을 제거하여 운영 복잡성을 낮췄다. 관리형 추론 방식을 통해 모델의 버전 업데이트와 트래픽에 따른 자동 스케일링을 구현했으며, 이를 통해 엔지니어링 팀이 인프라 유지보수 대신 보정 알고리즘의 정밀도를 높이는 구현 세부 사항에 집중할 수 있는 환경을 구축했다.

k-NN과 TF-IDF를 결합한 내부 문맥 추론 메커니즘

내부 문맥 추론은 외부 학습 데이터셋 없이 현재 업로드된 데이터셋 내부의 정보만으로 누락되거나 불일치하는 값을 예측한다. 이는 유사한 행들이 구조적 특성이나 열 간의 반복적인 값을 공유하는 데이터셋의 내부 일관성을 활용하는 방식이다. 시스템은 업로드된 데이터 내의 지역적 유사성을 분석하여 보정 값을 추천하며, 데이터셋 자체를 참조 모델로 활용하므로 외부 지식이 없어도 내부 패턴만으로 유효한 보정안을 제시할 수 있다.

구현 방식은 거리 가중치 k-최근접 이웃(distance-weighted k-nearest neighbors)과 TF-IDF(단어 빈도-역문서 빈도) 특징 표현을 결합한 하이브리드 접근법을 사용한다. 데이터셋의 각 행은 텍스트, 범주형, 수치형 필드가 통합된 복합 벡터로 변환된다. 텍스트 필드는 TF-IDF를 통해 수치화하고, 범주형 값은 원-핫 인코딩으로 처리하며, 수치 필드는 스케일링 과정을 거쳐 벡터에 포함된다.

벡터화된 데이터 사이의 유사도는 코사인(Cosine) 거리 또는 유클리드(Euclidean) 거리를 통해 측정한다. 측정된 거리를 바탕으로 가장 유사한 이웃들을 선별한 뒤, 가중 투표를 통해 결측치를 예측한다. 이때 거리가 더 가까운 이웃일수록 예측 결과에 더 큰 영향력을 행사하도록 설계하여, 단순 평균이나 최빈값보다 정교한 추론을 수행한다.

단순 빈도 분석의 한계를 보완하기 위해 PMI(Pointwise Mutual Information)를 활용한 공기 분석을 적용한다. 공기 분석은 데이터셋 내에서 자연스럽게 함께 등장하는 값들의 조합을 식별하는 과정이다. PMI는 단순한 출현 횟수를 넘어 값들 사이의 통계적 연관성을 측정하므로, 단순 빈도로는 파악하기 어려운 정교한 데이터 패턴을 포착하여 보정 추천의 신뢰도를 높인다.

연구자 제어권 보장과 데이터 거버넌스 체계

AI가 생성한 보정 추천안은 시스템에 즉시 반영되지 않고 사용자의 최종 승인 권한을 거쳐 확정된다. 인간 참여형(Human-in-the-loop) 구조를 채택해 도메인 전문성을 보존하고 데이터 신뢰도를 확보한다. 추천 시스템은 오류의 위치, 유형, 성격을 명시한 구조화된 오류 보고서를 근거로 보정안을 제시하며, 연구자는 이 보고서를 통해 AI의 수정 제안 맥락을 파악하고 승인 여부를 결정한다.

메타데이터 조화(Metadata harmonization)는 기존에 대부분 수작업으로 진행되어 데이터 규모가 커질수록 표준화 작업에 드는 시간과 비용이 증가하는 병목 지점이 되었다. 이번 구현 방식은 데이터 볼륨에 따라 확장 가능한(Scalable) 관리 프로세스로 전환하여 이 문제를 해결한다. 단순 반복적인 표준화 작업은 AI가 처리하고 연구자는 고차원적인 검증에만 집중함으로써 연구 데이터를 공개하여 투명성과 협업을 높이는 환경을 구축한다.

실무적으로는 데이터 규모와 도메인 특성에 따라 자동화 수준을 조절하는 운영 체계를 구축한다. 모든 보정 과정을 완전 자동화하는 대신 신뢰도가 낮은 항목에 대해서만 연구자의 개입을 요청하는 방식으로 효율을 높인다. 이는 데이터 거버넌스 측면에서 AI의 추론 결과에 대한 책임 소재를 명확히 하고 데이터 품질을 보증하는 안전장치가 된다. 관리형 서비스인 Amazon Bedrock을 통해 인프라 운영 부담을 줄이면서도 최종 결정권을 인간이 보유함으로써 데이터의 무결성을 유지한다.

도메인 특화 모델의 직접 운영 부담 없이 일반 및 생물 의학 메타데이터 작업에서 성능과 확장성을 동시에 확보하려면 Amazon Titan 임베딩 모델을 선택하는 것이 실무적인 판단 기준이 된다.