발표에서 확인된 핵심 사실

일반 프런티어 모델이 IDS 구조 준수율 약 25%, 내용 일관성 약 0%라는 낮은 성적을 기록한 상황에서, Ishigaki-IDS는 이를 극복해 비전문가도 건축 정보 모델의 속성을 관리할 수 있는 환경을 만들었다. BIM(Building Information Modeling, 건축물의 물리적·기능적 특성을 디지털로 표현한 모델)은 설계부터 시공, 유지관리까지 건축물의 전 생애주기에서 정보를 통합 관리하는 기술이다. 현장에서는 설계자와 시공자가 동일한 디지털 모델을 공유함으로써 의사소통 오류를 줄이고 공기를 단축하는 것을 목표로 한다. 하지만 모델 내에 어떤 데이터가 포함되어야 하는지 정의하는 표준화 작업이 선행되지 않으면 BIM은 단순한 3D 그림에 그치게 된다.

이 표준화의 핵심인 IDS(Information Delivery Specifications, BIM 모델에 부착될 정보를 정의하고 검증하는 XML 기반 표준) 작성은 실무자에게 매우 높은 진입장벽으로 작용한다. IDS 파일을 생성하려면 XML이라는 특수한 문서 문법에 능숙해야 하며, 동시에 IFC(Industry Foundation Classes, BIM 데이터 교환 표준)가 규정하는 복잡한 객체 분류와 속성 규칙을 완벽하게 이해하고 있어야 한다. 즉, IT 기술과 건축 도메인 지식을 모두 갖춘 소수의 전문가만이 이 작업을 수행할 수 있었다. 이러한 전문 지식 습득에 소요되는 막대한 학습 비용과 시간은 BIM이 중소 규모 현장까지 빠르게 확산되는 것을 가로막는 결정적인 원인이 되었다.

특히 일본 건설 산업은 만성적인 노동력 부족 문제에 직면해 있으며, 이를 타개하기 위해 정부 차원에서 BIM 도입을 강력하게 추진하고 있다. 설계, 시공, 유지관리 팀이 하나의 디지털 모델에서 정보를 공유하면 인력 효율을 극대화할 수 있기 때문이다. 그러나 실제 현장에서는 IDS 작성과 같은 기술적 난관 때문에 표준에 맞는 정보 관리가 제대로 이루어지지 않는 경우가 많았다. Ishigaki-IDS는 바로 이 지점에서 전문가의 전유물이었던 IDS 작성을 AI로 대체하여, BIM 전문가가 아닌 일반 실무자도 자신의 의도를 반영한 속성 정보 정의서를 생성하고 관리할 수 있도록 지원한다.

데이터가 극도로 부족한 건설 도메인에서 일반적인 거대언어모델을 그대로 사용하는 것은 실무적으로 불가능에 가깝다. 앞선 수치에서 확인했듯 일반 모델은 IDS의 엄격한 XML 태그 구조를 준수하지 못하거나, 문법은 맞더라도 실제 건축 표준과 일치하지 않는 내용을 생성하는 오류를 빈번하게 일으켰다. Ishigaki-IDS는 이러한 한계를 극복하기 위해 도메인 특화 학습을 적용하여 기계적인 정확도와 내용의 일관성을 동시에 확보했다. 이를 통해 비전문가도 모호한 자연어 지시만으로 표준에 부합하는 IDS 결과물을 얻을 수 있게 되었으며, 이는 BIM 도입의 가장 큰 병목이었던 표준 작성 단계를 실질적으로 해결하는 결과로 이어졌다.

데이터 부족을 뚫는 3단계 학습 파이프라인과 RLVR

Qwen3 8B, 14B, 32B 모델을 기반으로 실험과 학습을 수행했다. 알리바바 클라우드의 오픈소스 LLM(거대 언어 모델)인 Qwen3는 다국어 처리 능력이 뛰어나며 파라미터 크기가 다양하다는 특징이 있다. 개발자는 32B 모델로 전체 학습을 시작하기 전, 8B나 14B 같은 작은 규모의 모델로 먼저 실험하며 학습 방향을 설정하고 효율을 검증할 수 있었다. 첫 단계는 CPT(Continued Pre-training, 지속 사전 학습)를 통해 도메인 지식을 주입하는 과정이다. 웹에서 수집한 코퍼스와 도메인 전문가가 직접 설계한 합성 데이터를 활용해 IDS와 IFC에 관한 기본 지식을 모델에 학습시켰다. 이는 공개된 학습 데이터가 절대적으로 부족한 전문 분야에서 합성 데이터로 지식의 기초를 다져 모델의 이해도를 높이는 전략이다.

두 번째 단계는 SFT(Supervised Fine-tuning, 지도 미세 조정)를 적용하는 것이다. 자연어로 작성된 구체적인 지시문과 그에 대응하는 정답 IDS 출력 쌍을 짝지어 학습시켰다. 이를 통해 모델은 사용자의 요구사항을 분석하고 이를 IDS라는 특정 형식으로 변환하는 작업 흐름을 익히게 된다. 하지만 이 과정에서 XML 태그 오류가 빈번하게 발생하는 한계가 나타났다. IDS는 단순한 XML 형식을 넘어, 부착하거나 검증하려는 정보의 종류에 따라 태그 구조가 유동적으로 변하는 특성이 있다. 작성자가 반복적인 패턴과 전용 태그를 엄격하게 사용해야 하므로, 일반적인 범용 모델은 이러한 정교한 문법 구조를 정확하게 생성하는 데 어려움을 겪었다.

마지막으로 RLVR(Reinforcement Learning with Verifiable Rewards, 검증 가능한 보상을 통한 강화 학습)을 통해 출력물의 기계적 정확도를 최종적으로 개선했다. 국제 표준 기구인 buildingSMART가 제공하는 IDS-Audit-Tool을 보상 함수로 활용한 것이 핵심이다. 이 도구는 생성된 결과물의 XML 형식이 올바른지, IDS 구조가 유효한지, 그리고 의미적 일관성이 유지되는지를 기계적으로 판별하여 신호를 준다. 모델은 이 도구가 내놓는 정오답 신호를 보상으로 받아 스스로 결과물을 반복적으로 수정하며 정답에 가까운 구조를 찾아냈다. 이는 대규모의 정답 데이터셋을 확보하기 어려운 데이터 빈곤 도메인에서, 외부 검증 도구라는 명확한 기준점을 통해 모델의 성능을 고도화할 수 있는 실무적인 파이프라인이다.

IDS-Bench로 증명한 구조 준수율 100%와 120k 컨텍스트

Ishigaki-IDS는 자체 평가 지표인 IDS-Bench에서 XML 및 IDS 구조 준수율 약 100%를 기록했다. IDS-Bench는 내부 IDS 전문가들이 직접 구축한 벤치마크로, IFC(Industry Foundation Classes, BIM 데이터 교환 표준) 버전과 건축, 구조, MEP(기계·전기·배관), 공통 분야라는 건설 전문 영역을 정밀하게 측정한다. 평가 항목은 일본어와 영어라는 언어 조건과 더불어 구현, 구조, 내용이라는 세 가지 축으로 구성해 실무자가 실제로 마주하는 검증 환경을 그대로 재현했다. 내용 일관성 측면에서도 80% 이상의 성과를 거두었으며, 이는 모델이 단순한 텍스트 생성을 넘어 도메인 특유의 논리적 관계를 정확히 파악하고 있음을 의미한다.

일반적인 프런티어 모델은 이와 대조적인 결과를 보이며 도메인 특화 학습의 필요성을 드러냈다. 이 모델들은 XML 문법 자체는 오류 없이 생성하는 능력을 갖췄지만, 정작 IDS 구조 준수율은 약 25% 미만에 머물렀고 내용 일관성은 0%에 수렴하는 결과를 냈다. 즉, 프로그래밍 언어로서의 XML 형식은 맞췄으나 그 내부에 담겨야 할 IDS 표준의 세부 규칙과 데이터 관계는 전혀 구현하지 못한 상태였다. IDS는 매우 전문적이고 비교적 최신 표준에 해당하므로, 일반적인 웹 데이터로 학습한 범용 모델로는 해결할 수 없는 영역임을 수치로 확인한 셈이다. 이러한 격차는 단순히 데이터의 양이 아니라, 도메인 지식이 주입된 정교한 학습 파이프라인의 유무에서 발생한다.

입력값의 한계를 극복하기 위해 YaRN(Yet another RoPE extensioN, 트랜스포머 모델의 컨텍스트 창을 성능 저하 없이 확장하는 기법)을 도입했다. YaRN은 모델이 최초 학습 단계에서 설정한 컨텍스트 길이를 넘어 더 많은 정보를 처리할 때 발생하는 성능 저하를 억제하는 기술이다. 이를 적용한 결과 최대 약 120k 토큰까지의 입력과 출력 과정에서 정상적인 작동을 확인했다. 수만 줄에 달하는 건축 설계 지침이나 복잡한 IFC 데이터 구조를 한 번에 입력하고 이를 기반으로 IDS 파일을 생성해야 하는 실무 워크플로에서, 120k 수준의 컨텍스트 확보는 도구의 실용성을 결정짓는 핵심적인 기술적 토대가 된다. 입력된 정보가 누락되지 않고 출력물까지 일관되게 유지되는 범위가 확장됨으로써 실제 대규모 프로젝트 적용 가능성을 확보했다.

NVIDIA H200 기반 분산 학습 인프라와 PoC 성

Amazon EC2 P5en 인스턴스 중 `p5en.48xlarge` 노드 2개를 배치하고 NVIDIA H200 Tensor Core GPU를 탑재해 분산 학습 인프라를 구성했다. 전체적인 클러스터 배포와 관리는 AWS ParallelCluster를 통해 수행했다. AWS ParallelCluster는 AWS 환경에서 고성능 컴퓨팅(HPC) 클러스터를 쉽게 구축하고 운영할 수 있게 돕는 오픈소스 도구다. 이를 통해 인프라 설정의 복잡성을 줄이고 학습 환경의 일관성을 유지하며 효율적인 자원 배분을 가능하게 했다. 학습 데이터와 합성 데이터, 그리고 학습 중간 단계의 상태를 저장하는 체크포인트 관리는 Amazon FSx for Lustre에 맡겼다. Amazon FSx for Lustre는 연산 집약적인 워크로드에 최적화된 관리형 파일 시스템으로, 밀리초 미만의 낮은 지연 시간과 높은 처리량을 제공하는 것이 특징이다. 대규모 데이터셋에 빠르게 접근해야 하는 분산 학습 환경에서 파일 시스템의 병목 현상을 제거함으로써 다중 노드 학습의 안정성과 데이터 병렬 접근 효율을 동시에 확보했다.

이렇게 구축한 고성능 인프라의 실효성은 buildingSMART와 진행한 공동 PoC(Proof of Concept, 개념 증명)를 통해 검증했다. 이번 검증에는 IDS 표준에 정통한 도메인 전문가뿐만 아니라, 관련 지식이 없는 비전문가까지 참여해 모델의 실제 생성 능력을 다각도로 평가했다. 특히 사용자가 엄격한 문법을 따르지 않고 모호하게 요청한 프롬프트를 입력했음에도, 모델이 사용자의 의도를 정확히 파악해 유효한 IDS 생성 결과물을 내놓는 점에 집중했다. 테스트에 참여한 전문가와 비전문가 그룹 모두 이러한 결과에 대해 긍정적인 반응을 보였다. 이는 고성능 GPU 자원을 활용한 안정적인 학습 파이프라인이 단순한 성능 지표의 상승을 넘어, 실제 현장 사용자가 겪는 작성의 어려움과 진입 장벽을 실질적으로 낮추는 결과로 이어졌음을 보여준다. 전문 지식이 부족한 사용자도 자연어 지시만으로 표준에 맞는 결과물을 얻을 수 있다는 실무적 효용성을 확인한 셈이다.

한국 AI 현장에서 볼 지점

SFT(지도 미세 조정)만으로는 XML 태그를 그럴듯하게 선택하지만 실제로는 틀린 결과물을 내놓는 제어가 불가능했다. 속성값이 잘못 입력되거나 문법 구조가 미세하게 어긋나는 현상이 반복되었다. 이는 정답 데이터셋이 부족한 특수 도메인에서 모델이 단순히 확률적으로 가장 높은 토큰을 생성하기 때문에 발생하는 전형적인 한계다. 정답의 기준이 엄격한 문법 구조에 있을 때 모델은 정답과 유사해 보이는 오답을 생성하는 경향이 강하며, 이를 사람이 일일이 수정하는 방식으로는 학습 효율을 낼 수 없다.

데이터 빈곤 문제를 해결하기 위해 도메인 전문가의 협업과 합성 데이터 생성, 그리고 검증 도구 기반의 RLVR(검증 가능한 보상을 이용한 강화학습)을 조합했다. 전문가가 beam을 IfcBeam으로, air conditioner를 IfcUnitaryEquipment로 매핑하는 식의 세부 규칙을 정의하면 이를 바탕으로 대량의 합성 데이터를 생성해 기초 지식을 학습시켰다. 이후 기계적인 검증 도구를 보상 함수로 연결해 모델이 내놓은 답의 정답 여부를 판별하게 했다. 이 과정을 통해 모호한 지시문에서도 의도한 IDS(정보 전달 명세서)를 정확히 출력하는 성능을 확보했다. 데이터가 없는 상태에서 전문가의 지식을 합성 데이터로 치환하고 이를 다시 기계적 검증으로 정제하는 순환 구조를 구축한 결과다.

buildingSMART의 IDS-Audit-Tool(IDS 감사 도구)처럼 정답을 기계적으로 판별할 수 있는 도구가 있는 분야라면 RLVR 도입을 최우선으로 고려해야 한다. 사람이 일일이 수만 개의 정답지를 만드는 대신, 기존의 검증 소프트웨어가 모델의 결과물을 실시간으로 채점하게 만들어 학습 속도와 정확도를 동시에 높이는 방식이다. 실제 현장의 IDS 전문가와 비전문가 모두 모호한 프롬프트에서도 의도한 결과가 나오는 점에 긍정적인 반응을 보였다. 특히 XML과 같이 문법적 엄격함이 요구되는 도메인에서는 인간의 피드백보다 기계적 검증 도구의 보상이 훨씬 일관된 학습 방향을 제시한다.

지도 학습 데이터가 부족하더라도 정답을 판별할 수 있는 기계적 도구가 있다면 합성 데이터 생성과 SFT를 거쳐 RLVR로 도메인 특화 모델을 구축하는 패턴을 적용하라.