본 논문은 사전 정의된 schema가 필요 없는 완전 자율 knowledge graph 구축 프레임워크인 AutoSchemaKG를 제시한다. 이 시스템은 large language model을 활용해 텍스트로부터 knowledge triple 추출과 포괄적인 schema induction을 동시에 수행하며, entity와 event를 모두 모델링하는 동시에 conceptualization을 사용해 개별 인스턴스를 의미적 범주로 조직한다. 5,000만 건이 넘는 문서를 처리하여 9억 개 이상의 노드와 59억 개의 엣지를 가진 knowledge graph 계열인 ATLAS(Automated Triple Linking And Schema induction)를 구축한다. 이 접근법은 multi-hop QA 태스크에서 state-of-the-art baseline을 능가하며 LLM의 factuality를 향상시킨다. 특히 우리의 schema induction은 수작업 개입이 전혀 없이도 사람이 만든 schema와 92%의 semantic alignment를 달성하여, 동적으로 유도된 schema를 갖춘 billion 규모 knowledge graph가 large language model의 parametric knowledge를 효과적으로 보완할 수 있음을 입증한다. 코드와 데이터는 https://github.com/HKUST-KnowComp/AutoSchemaKG 에서 모두 이용할 수 있다.
1 Introduction
- 기존 KG 구축은 도메인 전문가가 만든 사전 정의 schema를 요구하는 역설 때문에 확장성과 도메인 커버리지가 근본적으로 제한된다.
- AutoSchemaKG는 LLM으로 knowledge triple 추출과 schema induction을 동시에 수행해 수작업 병목을 제거한다.
- entity만 다루는 방식과 달리 event를 일급(first-class) 의미 단위로 모델링해 시간·인과·절차 지식을 포착한다.
- 결과적으로 원문 passage 내용의 90% 이상을 보존한다(entity 정보만으로는 70%).
- 핵심 혁신은 conceptualization으로, 특정 entity·event·relation을 더 넓은 범주로 일반화해 서로 떨어진 정보 사이에 의미적 다리를 놓고 zero-shot cross-domain 추론을 가능하게 한다.
- Dolma 1.7 사전학습 코퍼스를 대규모로 처리해 9억 개 이상 노드, 59억 개 엣지의 ATLAS 계열을 구축했고, schema induction은 사람이 만든 schema와 92% semantic alignment를 달성했다.
- 성능 향상: multi-hop QA 12–18%, LLM factuality 최대 9%, Llama3.1 7B의 Global Facts·History·Law·Medicine·Social Sciences 등 다양한 추론 도메인에서 일관된 개선.
[Translated by Claude]
정보가 넘쳐나는 시대에 방대한 비정형 데이터를 구조화되고 기계가 읽을 수 있는 지식으로 변환하는 일은 인공지능에서 가장 중요한 과제 중 하나로 남아 있다. Knowledge Graph(KG)는 검색 엔진과 question answering(Wu et al., 2024; Chen et al., 2024c; Zong et al., 2024; Sun et al., 2024b)에서부터 추천 시스템(Lyu et al., 2024), 복잡한 추론 태스크(Li et al., 2024b)에 이르기까지 다양한 응용의 의미적 근간을 제공한다. 그러나 현재의 KG 구축 접근법은 본질적인 역설에 발목이 잡혀 있다. 즉 도메인 전문가가 만든 사전 정의 schema를 필요로 하며, 이것이 확장성과 도메인 커버리지를 근본적으로 제한한다.
우리는 Figure 1에 나타난 것처럼 사전 정의된 schema 없이 자율적인 knowledge graph 구축을 가능하게 하는 프레임워크인 AutoSchemaKG를 제시한다(Ye et al., 2023). 우리 접근법은 large language model을 활용해 knowledge triple 추출과 schema의 동적 유도를 텍스트로부터 직접 동시에 수행함으로써 KG 개발의 수작업 병목을 제거한다(Zhang and Soh, 2024; Li et al., 2024a; Wang et al., 2025). entity만 다루는 접근법과 달리 우리는 event를 일급 의미 단위로 모델링하여(Zhang et al., 2020, 2022) 시간적 관계, 인과성, 절차적 지식을 포착한다. 이는 proposition 기반 텍스트 분해(Hoyle et al., 2023; Jhamtani et al., 2024; Chen et al., 2024b)와 discourse relation recognition(Chan et al., 2023, 2024)에 관한 최근 연구와 궤를 같이하며, 이들 연구는 event 중심 표현이 더 풍부한 의미 정보를 보존함을 보여준다. 우리의 실험도 이를 확인한다. AutoSchemaKG는 원문 passage 내용의 90% 이상을 보존하는 반면 entity 정보만으로는 70%에 그친다.
우리 혁신의 중심에는 conceptualization(Wang et al., 2023c; Bai et al., 2024c; Wang et al., 2023b; He et al., 2024; Wang et al., 2024a,c)이 있는데, 이는 특정한 entity, event, relation을 더 넓은 범주로 일반화한다. 이를 통해 서로 이질적인 정보 사이에 의미적 다리가 만들어지고, zero-shot cross-domain 추론이 가능해지며, 구체적 추론과 추상적 추론을 모두 지원하는 계층적 조직이 제공된다(Wang et al., 2024d,b).
우리는 의도적으로 상당한 계산 자원을 투입해 Dolma 1.7(Soldaini et al., 2024) 사전학습 코퍼스(영문 Wikipedia, Semantic Scholar abstract, 그리고 Common Crawl의 3% 포함)를 처리함으로써 9억 개가 넘는 노드와 59억 개의 엣지로 연결된 ATLAS 계열 knowledge graph를 구축한다. 이 규모는 결정적으로 중요하다. knowledge graph는 현대 LLM의 parametric knowledge를 효과적으로 보완하려면 수십억 개 규모의 사실에 도달해야 한다. 포괄적인 평가를 통해 우리는, 모델의 사전학습 데이터와 동일한 출처에서 가져온 경우라 하더라도 적절히 구조화된 지식 표현이 텍스트 기반 검색보다 이점을 제공함을 보인다. 우리의 schema induction은 수작업 개입이 전혀 없이 사람이 만든 schema와 92%의 semantic alignment를 달성한다.
AutoSchemaKG는 상당한 성능 향상을 제공한다. multi-hop question answering(Trivedi et al., 2022; Yang et al., 2018; Ho et al., 2020)에서 12–18% 향상, LLM factuality(Chen et al., 2023)에서 최대 9% 향상, 그리고 Global Facts, History, Law, Medicine, Social Sciences를 포함한 다양한 추론 도메인에서 Llama3.1 7B에 대해 일관된 개선을 보인다.
주요 기여는 다음과 같다. (1) 다차원 지식 표현을 만들어내는 entity-event-concept 추출 프레임워크, (2) 우리가 아는 한 자동 구축된 KG 중 최대이자 이용 가능한 Graph RAG 데이터셋 중 최대인 ATLAS를 산출하는 web-scale 처리, (3) 도메인별 커스터마이징 없이도 다양한 도메인에서 효과를 입증하는 retrieval augmented generation 파이프라인.
2 Problem Definition
- knowledge graph를 자동으로 구축하는 태스크를 형식적으로 정의하며, 출발점은 conceptual schema를 갖춘 knowledge graph의 정의다.
- knowledge graph는
G = (V, E, C, ϕ, ψ)로 표기되며 노드 집합 V는 event 노드 VE와 entity 노드 VN의 합집합이다. - 엣지 E ⊆ V × V × R은 entity-entity, entity-event, event-event를 모두 연결할 수 있다.
- ϕ는 각 노드를, ψ는 각 relation type을 concept 집합 C의 부분집합에 대응시키며, 모든 노드와 relation은 최소 하나의 concept을 가져야 한다.
[Translated by Claude]
우리는 knowledge graph를 자동으로 구축하는 데 관여하는 태스크들을 형식적으로 개괄한다. 먼저 conceptual schema를 갖춘 knowledge graph에 대한 정확한 정의를 제시하는 것에서 시작한다.
Definition 1 (Knowledge Graph with Conceptual Schema). knowledge graph를 G = (V, E, C, ϕ, ψ)로 표기하자. 여기서 V = VE ∪ VN은 노드의 집합을 나타내며, VE는 event 노드의 집합, VN은 entity 노드의 집합이고 VE ∩ VN = ∅이다. E ⊆ V × V × R은 엣지의 집합을 정의하며 R은 relation type을 나타낸다. 엣지는 entity-entity, entity-event, 또는 event-event 노드를 연결할 수 있다. C는 conceptual category의 집합이다. ϕ : V → P(C)는 각 노드에 concept의 부분집합을 할당하며, 모든 v ∈ V에 대해 ϕ(v) ⊆ C이다. ψ : R → P(C)는 각 relation type을 concept의 부분집합에 연결하며, 모든 r ∈ R에 대해 ψ(r) ⊆ C이다. P(C)는 C의 멱집합으로, 가능한 모든 부분집합을 포괄한다. 추가 제약 조건은 다음과 같다. ∀v ∈ V : ϕ(v) ≠ ∅ 이고 ∀r ∈ R : ψ(r) ≠ ∅.
3 AutoSchemaKG Framework
- Triple Extraction은 LLM을 사용해 Dolma 코퍼스의 비정형 텍스트를 knowledge triple로 변환하는 다단계 파이프라인이다.
- Stage 1: 프롬프트 PEE로 Entity-Entity triple (e1, r, e2)를 추출한다.
- Stage 2: 프롬프트 PEV로 Entity-Event triple (e, r, v) 또는 (v, r, e)를 추출한다.
- Stage 3: 프롬프트 PVV로 Event-Event triple (v1, r, v2)를 추출한다.
- 영어 필터링과 토큰 한계 기반 문서 분할 후 배치 단위로 처리하며, 결과 triple은 원문·메타데이터와 함께 JSON으로 직렬화된다.
- Schema Induction은 추출된 triple의 entity·event·relation을 일반화된 type으로 추상화하며, 요소당 최소 3개의 conceptual phrase를 서로 다른 추상화 수준으로 생성한다.
- entity에 대해서는 최대 Nctx개의 이웃 노드를 샘플링해 context 문자열을 만들어 추상화 정확도를 높인다.
- 생성된 phrase는 CSV로 기록되어 각 노드 v ∈ V와 relation r ∈ R을 ϕ와 ψ를 통해 C의 부분집합에 매핑한다.
[Translated by Claude]
Triple Extraction 우리 접근법은 Large Language Model을 사용하는 다단계 파이프라인을 채택해 Dolma 코퍼스(Soldaini et al., 2024)의 비정형 텍스트를 knowledge triple로 변환한다. 이 파이프라인은 세 개의 순차적 단계를 통해 Entity-Entity, Entity-Event, Event-Event 관계를 추출한다. 우리는 영어 텍스트만 남기도록 필터링하고 토큰 한계를 초과하는 문서를 분할하는 방식으로 텍스트를 전처리한다. 분할된 텍스트는 처리 배치로 묶인다. Stage 1은 시스템 프롬프트 PEE를 사용해 Entity-Entity 관계를 추출하는데, 이 프롬프트는 LLM에게 entity와 그들 사이의 상호 관계를 탐지하도록 지시한다. 출력은 triple (e1, r, e2)로 파싱되며 여기서 e1, e2 ∈ VN은 entity 노드이고 r ∈ R은 relation type이다. Stage 2는 프롬프트 PEV로 Entity-Event 관계를 식별하여 (e, r, v) 또는 (v, r, e) 형태의 triple을 생성하며 e ∈ VN, v ∈ VE, r ∈ R이다. Stage 3은 프롬프트 PVV로 Event-Event 관계를 대상으로 하여 (v1, r, v2) triple을 생성하며 v1, v2 ∈ VE이고 r ∈ R이다. 이 파이프라인은 최적화된 정밀도 설정과 GPU 가속을 갖춘 다양한 LLM을 지원한다. 추출된 triple은 대응하는 텍스트 및 메타데이터와 함께 JSON 파일로 직렬화된다.
Schema Induction triple 추출 이후 우리는 특정한 entity, event, relation을 일반화된 type으로 추상화하기 위해 schema induction을 수행한다. 이 과정은 LLM을 사용해 각 그래프 요소의 type을 나타내는 conceptual phrase를 생성하며, 우리의 형식적 정의 G = (V, E, C, ϕ, ψ)와 정합한다. 각 범주(event, entity, relation)에 대해 우리는 요소를 배치 단위로 처리한다. LLM은 각 요소의 type 또는 관련 concept을 서로 다른 추상화 수준에서 담아내는 phrase를 요소당 최소 세 개 생성한다. entity(e ∈ VN)에 대해서는 이웃 노드의 문맥 정보를 통합해 추상화를 강화한다. 최대 Nctx개의 이웃을 샘플링하여 추가적인 의미 단서를 제공하는 context 문자열을 구성한다. schema induction 파이프라인은 triple 추출 단계에서 직렬화된 그래프를 처리한다. 요소들은 배치로 분할되며, 분산 계산을 위한 슬라이싱 옵션도 제공된다. 생성된 phrase는 CSV 파일에 기록되어 각 노드 v ∈ V와 relation r ∈ R을 ϕ와 ψ를 통해 C의 concept 부분집합에 매핑한다. 이 자동화된 schema는 수작업 큐레이션 없이도 다양한 도메인에 걸쳐 knowledge graph의 적응성을 높인다.
4 Construction of ATLAS Families
- ATLAS-Wiki, ATLAS-Pes2o, ATLAS-CC는 각각 Dolma의 Wikipedia & Wikibooks, Semantic Scholar, Common Crawl 서브셋으로부터 구축된다.
- ATLAS-Wiki는 Wikipedia & Wikibooks 전체를, ATLAS-Pes2o는 Semantic Scholar의 abstract 부분을 사용한다.
- ATLAS-CC는 cc-head, cc-middle, cc-tail 각각에서 3%씩을 사용하며, head/middle/tail은 Wikipedia 텍스트와의 분포 유사도를 재는 기준이다(Soldaini et al., 2024).
- Table 1은 QA 데이터셋(MuSiQue, 2WikiQA, HotpotQA)과 사전학습 코퍼스 기반 ATLAS의 노드·엣지 통계를 보여준다. ATLAS-CC만으로 937.256M 노드와 5.958B 엣지에 달한다.
[Translated by Claude]
Corpora Table 1에 나타난 것처럼 ATLAS-Wiki, ATLAS-Pes2o, ATLAS-CC는 각각 Dolma의 Wikipedia & Wikibooks 서브셋, Semantic Scholar 서브셋, Dolma의 CC 서브셋으로부터 구축된다. 우리는 ATLAS-Wiki를 구축하기 위해 Wikipedia & Wikibooks 전체를 사용하고, ATLAS-Pes2o를 구축하기 위해 Semantic Scholar의 abstract 부분을 사용하며, ATLAS-CC를 구축하기 위해 cc-head, cc-middle, cc-tail 각각에서 3%씩을 사용한다. (Soldaini et al., 2024)에 따르면 CC의 head, middle, tail은 Wikipedia 텍스트와의 분포 유사도를 측정하는 데 사용된다.
5 Experiment
- 이 절에서는 AutoSchemaKG가 정확한 triple 추출을 수행하고, 일관성 있게 schema를 유도하며, 정보 보존율이 매우 높다는 점을 5.1절에서 보인다.
- 이어 5.2절 multi-hop QA, 5.3절 LLM factuality, 5.4절 일반 도메인 지식 능력으로 평가를 확장한다.
[Translated by Claude]
이 절에서 우리는 AutoSchemaKG가 정확한 triple 추출 능력을 가지며, 일관성 있게 schema를 유도할 수 있고, 매우 높은 정보 보존율을 보인다는 것을 5.1절에서 제시한다.
5.1 Evaluating AutoSchemaKG
- Triple 추출 정확도: DeepSeek-V3를 judge로 사용해 false positive와 false negative를 식별하는 counting 기반 평가를 수행했고, 대부분의 경우 precision·recall·F1이 90%를 넘겨 OpenIE 6와 Stanford OIE를 크게 앞선다.
- LLM 아키텍처·파라미터 크기(1B~70B)를 바꿔가며 평가한 결과, 모델이 클수록 KG 품질이 좋아지지만 아키텍처 선택의 영향은 미미하다.
- 정보 보존: passage당 5개 MCQ(데이터셋당 200 passage, 1,000 MCQ)로 측정했으며 Event 또는 Event + Entity 표현은 대부분 95%를 넘어 상한(원문 passage)에 근접한다.
- event가 entity보다 더 풍부한 정보를 보존하며, 두 baseline OpenIE 방식을 크게 능가한다.
- Schema 품질: entity/event/relation typing 태스크에서 BS-R, BS-C 두 semantic 지표로 측정했고, 대부분 80% 이상, 흔히 90% 이상의 recall을 달성하며 ontology learning baseline인 Txt2onto를 크게 앞선다.
- 일곱 개 LLM에 걸친 schema induction 평가에서도 아키텍처나 크기와 무관하게 80~90% 이상의 recall과 coverage가 유지된다.
[Translated by Claude]
Evaluating Triple Extraction Accuracy 우리는 OpenIE(Kolluru et al., 2020) 및 Stanford OIE(Angeli et al., 2015)와 비교하는 엄밀한 counting 기반 평가를 사용한다. DeepSeek-V3(Liu et al., 2024a)를 judge로 사용하여, (1) DeepSeek-V3에게 원문 텍스트와 LLaMA-3.1-8B-Instruct가 추출한 triple을 함께 제시하고, (2) DeepSeek-V3가 잘못 추출된 triple(false positive)을 식별하며, (3) DeepSeek-V3가 원문에는 있으나 추출된 triple에는 빠진 사실(false negative)을 나열하도록 한다. 이를 통해 정밀한 precision, recall, F1 점수를 얻는다.
Table 2는 우리 접근법이 모든 데이터셋에서 우수한 추출 품질을 달성하며 대부분의 경우 precision, recall, F1이 90%를 넘음을 보여준다. 전통적 방법은 강한 recall을 보이지만 고정된 schema와 문맥 추론 능력의 부재 때문에 precision이 떨어진다. Table 3은 서로 다른 아키텍처(DeepSeek(Liu et al., 2024a), LLaMA(Touvron et al., 2023), Qwen(Team et al., 2025))와 크기(1B–70B)의 LLM에 대한 HotpotQA 평균 성능을 보고하며, 더 큰 LLM이 KG 품질을 향상시키는 반면 아키텍처 선택의 영향은 미미함을 보여준다. 다중 judge 교차 검증과 baseline 선정 근거는 Appendix E에 추가로 보고한다.
Measuring Information Preservation 우리는 entity 수준 triple과 event 수준 triple이 passage 정보를 얼마나 잘 보존하는지를 MCQ 성능으로 평가하며, OpenIE 6(Kolluru et al., 2020) 및 Stanford OIE(Angeli et al., 2015)와 비교한다. (Schuhmann et al., 2025)를 따라 LLaMA-3.3-70B-Instruct를 사용해 passage당 다섯 개의 MCQ를 생성하고(프롬프트는 Figure 8), 데이터셋당 200개 passage와 1,000개 MCQ를 샘플링한다. 우리는 context 없음(하한), 원문 passage(상한), entity triple(Entity), event triple(Event), 그리고 결합(Event + Entity)의 설정으로 En-Wiki, Pes2o-Abstract, CC에서 테스트한다.
Table 4는 다음을 보여준다. (1) 정보가 잘 보존된다. Entity, Event, 또는 Event + Entity를 사용한 MCQ 성능은 상한에 근접하며 하한을 크게 상회한다. (2) event가 entity를 능가한다. Event 또는 Event + Entity 성능은 대부분의 경우 95%를 초과하여 event가 더 풍부한 정보를 보존함을 보여준다. (3) baseline 대비 우수하다. Event + Entity는 baseline 방법을 크게 능가하는데, 전통적 접근법은 불완전한 triple을 추출하기 때문이다. Table 5는 일곱 개 LLM(서로 다른 아키텍처와 크기)에 대한 HotpotQA 성능이 95% 이상의 정확도를 유지함을 보여주며, 품질이 아키텍처와 크기에 무관함을 확인시켜 준다.
Measuring Schema Quality 우리 schema induction 방법의 능력을 입증하기 위해 이를 entity, event, relation typing 태스크에 적용하여 우리 방법이 얼마나 많은 type을 recall하는지 측정한다. 또한 NLP-ML을 사용해 비정형 텍스트를 온톨로지의 용어로 분류하는 Txt2onto(Hawkins et al., 2022)와 우리 schema induction 방법을 비교한다. 데이터셋 상세는 Appendix C.1에 있다. 규칙 기반 평가는 의미적 유사성을 놓칠 수 있으므로, 우리는 Appendix C.2에서 설명하는 두 가지 semantic 수준 지표 BS-R과 BS-C를 사용한다. Table 6은 LLaMA-3.1-8B-Instruct, LLaMA-3.3-70B-Instruct, 그리고 ontology learning baseline 방법을 사용한 결과를 보여준다. 우리 방법은 대부분의 경우 entity, event, relation type에 대해 80% 이상, 흔히 90% 이상의 recall을 달성하며 baseline 방법을 크게 능가한다. 이는 주로 LLM의 강력한 zero-shot 일반화 능력과 사전 정의된 온톨로지로부터의 자유로움 덕분이다. 나아가 우리는 Table 7에서 서로 다른 아키텍처와 파라미터 크기를 가진 일곱 개 LLM에 걸쳐 schema 품질을 추가로 평가한다. 그 결과는 어떤 아키텍처나 파라미터 크기의 LLM을 사용하더라도 우리 방법이 대부분의 경우 entity, event, relation type에 대해 80% 이상, 심지어 90% 이상의 recall과 coverage를 달성할 수 있음을 시사한다. 이는 또한 우리의 자동 schema induction 방법이 다양한 LLM 아키텍처와 파라미터 크기에 걸쳐 schema의 포괄성을 보장할 수 있음을 보여준다.
5.2 Performance on Multi-hop QA Tasks
- 데이터셋은 모두 Wikipedia에서 파생된 MuSiQue, HotpotQA, 2WikiMultihopQA 세 가지이며 각각 1,000개 질문을 무작위 선택했다.
- Baseline은 그래프 기반(HippoRAG, HippoRAG2, GraphRAG, LightRAG, MiniRAG)과 텍스트 기반(BM25 + LLM, Contriever, RAPTOR)을 모두 포함하고, 지표는 EM과 F1이다.
- HippoRAG2와 결합한 Full-KG(entity + event + concept) 구성이 BM25·Contriever 같은 전통 검색을 12–18% 능가한다.
- 구축에 LLaMA-3.1-8B만 써도, 구축·독해 모두 LLaMA-3.3-70B를 요구하는 원래 HippoRAG2와 비슷하거나 더 좋은 결과를 낸다.
- event 노드는 triple 정보가 모호하거나 누락됐을 때 유용한 검색 대상이 되고, concept 노드는 서로 떨어진 subgraph를 잇는 대체 경로를 만들어 PageRank 전파를 돕는다.
- 전통 OpenIE는 "the race"처럼 지시 대상을 해소하지 못해 비일관적 그래프를 만들지만, AutoSchemaKG는 지시 해소 + event 노드 + concept 노드로 그래프 일관성과 검색 정확도를 높인다.
[Translated by Claude]
이 하위 절은 open-domain QA의 실험 설정을 상세히 설명하며, 우리 knowledge graph의 구조와 schema induction이 강점을 발휘할 것으로 기대되는 multi-hop 추론 태스크에 초점을 맞춘다.
Datasets 우리는 multi-hop 추론을 요구하는 것으로 잘 알려진 세 가지 벤치마크 데이터셋을 선택했으며, 모두 Wikipedia에서 파생되었다. MuSiQue(Trivedi et al., 2022), HotpotQA(Yang et al., 2018), 2WikiMultihopQA(Ho et al., 2020)로, 이들은 문서 간의 복잡한 관계 경로를 필요로 한다. 각 데이터셋에서 (Gutiérrez et al., 2024)를 따라 1,000개의 질문을 무작위로 선택한다.
Baselines and Metrics 우리는 knowledge graph 기반 RAG 시스템을 여러 state-of-the-art 접근법과 비교한다. 그래프 기반 baseline에는 개체명 인식과 관계 추출로 텍스트에서 메모리 그래프를 구축하는 프레임워크인 HippoRAG(Gutiérrez et al., 2024), 향상된 그래프 구축을 갖춘 개선판인 HippoRAG2(Gutiérrez et al., 2025), 텍스트 추출과 네트워크 분석, LLM 프롬프팅을 결합한 Microsoft Research의 기법 GraphRAG(Edge et al., 2024), 효율성에 집중한 GraphRAG의 단순한 대안인 LightRAG(Guo et al., 2024), 그리고 Small Language Model에 맞춰진 극도로 단순한 프레임워크인 MiniRAG(Fan et al., 2025)가 포함된다. MiniRAG와 LightRAG에 대해서는 QA에서 설명이 붙은 긴 답변 대신 짧은 답변을 출력하도록 프롬프트를 조정했다. 텍스트 기반 RAG 비교를 위해서는 BM25 스코어링을 이용한 전통적 검색인 BM25 + LLM, QA용으로 파인튜닝된 dense retrieval 증강 시스템인 Contriever(Izacard et al., 2021), 그리고 계층적 요약 시스템인 RAPTOR(Sarthi et al., 2024)와 비교한다. 이러한 baseline들은 다양한 retrieval-augmented 방법론과 우리 접근법을 벤치마킹할 수 있게 해준다.
우리는 open-domain QA의 표준 지표로 시스템을 평가한다. Exact Match(EM)는 정규화 후의 이진 정확성을 측정한다. EM(a, g) = 1[norm(a) = norm(g)]이며 여기서 a는 예측된 답변, g는 정답이고, 정규화에는 소문자화와 관사·구두점·공백 제거가 포함된다. F1 Score는 정규화된 답변 간의 토큰 중첩을 측정한다. F1 = 2·P·R / (P + R)이며 P = |a ∩ g|/|a|, R = |a ∩ g|/|g|는 각각 precision과 recall이다. 실험과 baseline의 구현 세부 사항은 Appendix D에 제시한다.
Evaluation Results Table 8과 Table 13의 실험 결과는 세 벤치마크 데이터셋에 걸친 multi-hop question answering에서 AutoSchemaKG의 효과를 입증한다. HippoRAG2와 통합했을 때 Full-KG 구성(entity, event, concept)은 BM25나 Contriever 같은 전통적 검색 접근법을 12–18% 능가하며, 복잡한 추론 시나리오에서의 강점을 부각한다. 특히 AutoSchemaKG는 그래프 구축자로 LLaMA-3.1-8B를 사용하고도 구축과 QA 독해 모두에 LLaMA-3.3-70B를 요구하는 원래의 HippoRAG2 구현과 비슷하거나 더 나은 결과를 달성한다. 동일 조건(apples-to-apples)의 70B 구축자 비교와 concept 노드 ablation에 대한 명확화는 Appendix E에서 추가로 제공한다.
Advantages of Events and Concepts 우리의 사례 연구는 event 노드와 concept 노드의 두 가지 핵심 이점을 드러냈다. 1) event 노드는 풍부한 문맥을 제공한다. Figure 9에서 보듯이, triple의 결정적 정보가 모호하거나 누락되었을 때 event 노드는 유용한 검색 대상이 되어 passage 노드를 포함하는 관련 subgraph를 식별하는 데 도움을 준다. 2) concept 노드는 대체 경로를 만든다. 이 노드들은 직접적인 entity와 event를 넘어서는 연결을 확립하여 복잡한 multi-hop question answering의 한계를 다룬다. Figure 10은 concept 노드가 서로 떨어진 subgraph를 가로질러 지식을 연결하여, HippoRAG 같은 시스템이 PageRank 알고리즘을 통해 분리된 subgraph의 영향을 이어줄 수 있게 하는 방식을 보여준다.
Comparison between AutoSchemaKG and Traditional OpenIE OpenIE6(Kolluru et al., 2020)과 Stanford OpenIE(Angeli et al., 2015) 같은 전통적 OpenIE 방법은 고정된 schema에 의존하고 오직 triple 추출에만 초점을 맞추므로, 문맥과 추론 능력의 부재로 인해 불완전하거나 모호한 triple을 만들어내는 경우가 많다. 예를 들어 "After a hiatus of eleven years, the race was revived by the Verizon IndyCar Series in 2016"라는 문장이 주어졌을 때, Stanford OpenIE는 "hiatus of eleven years"와 "revived by Verizon IndyCar Series in 2016" 같은 entity를 추출하면서 "the race"는 식별하지 못해 비일관적인 그래프가 만들어진다. 마찬가지로 OpenIE6는 "the race"를 entity로 식별하지만 이를 "Desert Diamond West Valley Phoenix Grand Prix"와 연결하지 못하거나 이 부활 사건을 event로 추출하지 못해 subgraph 연결성을 제약한다. 반면 AutoSchemaKG는 "the race"를 "Desert Diamond West Valley Phoenix Grand Prix"로 해소하고, event 노드("the race was revived by the Verizon IndyCar Series in 2016")를 추출하며, 관련 entity(예: "Verizon IndyCar Series")를 연결하기 위해 "IndyCar racing" 같은 concept 노드를 유도한다. 이 접근법은 그래프 일관성과 검색 정확도를 높인다. KG 기반 Retrieval-Augmented Generation에서 전통적 OpenIE 방법의 모호한 triple은 PageRank 같은 알고리즘의 노드 가중치를 왜곡시켜 무관한 passage를 검색하게 만들 수 있다. 나아가 OpenIE 방법에는 concept 생성이 없어 서로 떨어진 subgraph를 연결하는 능력이 제한되며, 이는 multi-hop question answering 태스크의 성능 격차(Table 8 참조)로 나타난다. 반대로 AutoSchemaKG의 동적 schema induction과 event·concept 노드의 포함은 이러한 한계를 해소하여 더 일관되고 검색 가능한 그래프를 만들어낸다.
5.3 Enhancing LLM Factuality with KGs
- FELM 벤치마크(Chen et al., 2023)로 평가했으며 5개 도메인 847개 샘플, 4,425개 fine-grained 세그먼트를 사용한다.
- world knowledge, science/technology, writing/recommendation 도메인에는 RAG를 적용하고 math와 reasoning은 vanilla 설정을 유지했다.
- 비교 대상은 HippoRAG2, BM25, MiniLM 기반 dense retrieval(ElasticSearch 구현)이며, 10억 노드 규모에서 4096차원 임베딩은 32비트 부동소수점 기준 16TB가 필요해 MiniLM을 선택했다.
- 우리 KG를 쓴 HippoRAG2는 Wikipedia(56.43% accuracy, 30.48% F1)와 Common Crawl에서 baseline을 일관되게 능가하고 Pes2o-Abstract에서도 경쟁력 있는 결과를 낸다.
[Translated by Claude]
우리는 FELM 벤치마크(Chen et al., 2023)(5개 도메인 847개 샘플, 4,425개 fine-grained 세그먼트)로 우리 KG를 평가했다. FELM의 프로토콜을 따라 world knowledge, science/technology, writing/recommendation 도메인에 RAG를 적용하고 math와 reasoning에는 vanilla 설정을 유지했다. 우리는 HippoRAG2, BM25, 그리고 MiniLM(Wang et al., 2021)을 사용한 dense retrieval(ElasticSearch(Elasticsearch, 2018)로 구현)과 비교했다. 우리가 더 큰 임베딩 대신 MiniLM을 선택한 이유는 계산 제약 때문이다. 10억 개 노드에 걸쳐 고차원 임베딩(예: 4096차원)으로 dense retrieval을 수행하려면 32비트 부동소수점 표현 기준으로 16TB의 저장공간이 필요하다. 모든 실험은 공정한 비교를 위해 LLaMA-3.1-8B-Instruct와 Neo4j 통합, zero-shot CoT를 사용했다. Table 9는 factual error 탐지에 대한 balanced accuracy와 F1 score로 성능을 보여준다. 우리 KG를 사용한 HippoRAG2는 Wikipedia(56.43% accuracy, 30.48% F1)와 Common Crawl에서 baseline을 일관되게 능가하며 Pes2o-Abstract에서도 경쟁력 있는 결과를 보인다. Wikipedia에서의 우수한 성능은 FELM 샘플이 부분적으로 Wikipedia에서 유래했기 때문일 가능성이 크다. 확장된 결과는 Appendix I.1에 나온다.
5.4 General Domain Knowledge Capabilities
- 다양한 도메인에서의 KG 구축 능력을 확인하기 위해 MMLU(Hendrycks et al., 2021)로 평가했다.
- KNN-LM 관련 선행 연구는 RAG가 때때로 LLM의 추론 능력을 저해할 수 있다고 보고했으므로, 보편적 향상은 기대하지 않되 지식 집약 도메인에서의 개선에 주목한다.
- History, Law, Religion, Philosophy/Ethics, Medicine/Health, Global Facts, Social Sciences, Logic에 초점을 맞췄다.
- ATLAS 변종별 강점이 뚜렷하다.
- ATLAS-Pes2o: Religion, Medicine/Health, Global Facts, Social Sciences
- ATLAS-Wiki: Religion, Philosophy/Ethics, Global Facts 등 일반 지식 영역
- ATLAS-CC: Law와 History
- KG는 인문·사회과학에 결정적인 사실 관계 검색에서 뛰어나지만, 절차적 지식을 노드-관계 구조로 담기 어려운 수학·기술 도메인에서는 이점이 제한적이다.
[Translated by Claude]
AutoSchemaKG가 다양한 도메인에 걸쳐 knowledge graph를 구축하는 능력을 평가하기 위해, 우리는 LLM 추론에 대한 포괄적 벤치마크인 MMLU(Hendrycks et al., 2021)로 평가했다. KNN-LM에 관한 선행 연구(Khandelwal et al.)는 retrieval-augmented generation이 때때로 LLM의 추론 능력을 저해할 수 있음을 시사한다(Wang et al., 2023a; Geng et al., 2025). 우리는 RAG가 LLM 성능을 보편적으로 향상시킬 것이라고 기대하지는 않지만, 우리의 결과는 LLM 학습 데이터에 포함된 영역이라 하더라도 지식 집약적 도메인에서 유의미한 개선이 나타남을 보여준다. FELM 실험과 동일한 검색·생성 설정을 사용하여 MMLU 태스크를 주제 범주로 분류하고(상세 매핑은 Appendix I.2), History, Law, Religion, Philosophy/Ethics, Medicine/Health, Global Facts, Social Sciences, Logic을 포함한 지식 집약적 도메인에 초점을 맞췄다.
Table 10에서 보듯이 우리의 ATLAS knowledge graph는 테스트한 모든 코퍼스에서 이들 도메인의 성능을 향상시켰다. 특히 각 ATLAS 변종은 뚜렷한 강점을 보였다. ATLAS-Pes2o는 학술 논문 기반 지식을 반영하여 Religion, Medicine/Health, Global Facts, Social Sciences에서 뛰어났고, ATLAS-Wiki는 Religion, Philosophy/Ethics, Global Facts 같은 일반 지식 영역에서 이점을 보였으며, ATLAS-CC는 더 폭넓은 웹 기반 콘텐츠를 활용해 Law와 History에서 최고 성능을 보였다. 모든 ATLAS 변종은 이러한 인문학 및 사회과학 도메인에서 no-retrieval baseline과 Freebase-ToG를 일관되게 능가했다. 예를 들어 Law에서 우리 접근법은 baseline 대비 4점 향상을 달성한 반면, Table 10에서 보듯이 일부 다른 검색 방법은 오히려 성능을 떨어뜨렸다. 특정 태스크에서는 검색 방법도 중요하다. 예컨대 Logic에서는 우리 ATLAS knowledge graph 위에서의 ToG가 다른 모든 방법보다 훨씬 뛰어난 성능을 보인다.
이러한 도메인별 성능 패턴은 직관적 기대와 부합한다. knowledge graph는 인문학과 사회과학에 결정적인 사실적 관계를 검색하는 데 뛰어난 반면, 노드-관계 구조가 절차적 지식을 포착하는 데 덜 효과적인 수학적·기술적 도메인에서는 제한된 이점만을 보인다. 기술 도메인을 포함한 전체 주제 분석은 Appendix I.2에 있다.
6 Further Related Work
- 전통적 KG 구축은 사전 정의 schema에 의존해 cross-domain 확장성이 제한되지만, LLM은 추출과 schema induction을 개선해 자율적 구축을 가능하게 한다.
- 최근 흐름으로는 SAC-KG(LLM을 도메인 전문가로 활용), Docs2KG(이종 문서 처리), KAG(KG-텍스트 상호 인덱싱으로 multi-hop 추론 강화)가 있다.
- schema/concept 추출의 초기 시도는 lexico-syntactic 패턴 기반의 WordNet 확장(Hearst, 1998; Agirre et al., 2000)이며, 이후 Txt2onto의 NLP-ML 접근, LLMs4OL의 zero-shot 프롬프팅으로 이어진다.
- schema induction 관련 연구로는 구축 파이프라인 서베이(Hofer et al., 2024), variational autoencoder를 활용한 canonicalization(Dash et al., 2021), 강화학습 기반 양방향 text-to-graph 변환(Dognin et al., 2021)이 있다.
[Translated by Claude]
KG 구축은 비정형 데이터를 기계가 읽을 수 있는 형식으로 변환한다. 사전 정의된 schema를 사용하는 전통적 접근법은 cross-domain 확장성을 제한하는 반면, 이제 LLM은 향상된 추출과 schema induction을 통해 자율적 구축을 가능하게 한다. 최근 연구들은 표준 KG와 eventuality KG 위에서의 complex query answering과 추론(Bai et al., 2022, 2023c,a,b, 2024b)뿐 아니라 실제 도메인에서의 intention 지향 KG 구축(Yu et al., 2023; Bai et al., 2024c,a)을 통해 이 방향을 발전시켜 왔으며, 프라이버시 제약 하의 배포 가능한 neural graph database에 대한 논의도 등장하고 있다(Hu et al., 2024). 최근 성과로는 LLM을 도메인 전문가로 활용해 백만 노드 규모 그래프에서 높은 precision으로 특화 KG를 생성하는 SAC-KG(Chen et al., 2024a), 이종 문서 처리를 위한 Docs2KG(Sun et al., 2024c), 그리고 KG-텍스트 상호 인덱싱을 통해 multi-hop 추론을 강화하는 KAG(Liang et al., 2024)가 있다. 관련된 conceptualization 및 추상화 연구(Wang et al., 2024a,b) 역시 schema와 지식 조직에 유용한 맥락을 제공하며, KG 추론 동향과 neural graph database의 과제에 관한 최근 논의도 함께한다(Liu et al., 2024b; Bai et al., 2025; Zheng et al., 2025; Tsang et al., 2025; Huang et al., 2025). entity, event 또는 텍스트 설명으로부터 schema나 concept을 추출하는 가장 초기 접근법 중 하나는 lexico-syntactic 패턴을 활용해 문서에서 새로운 lexico-semantic concept을 자동으로 수확하는 방식이었고(Hearst, 1998), 이는 WordNet(Miller, 1995)을 강화했다. Agirre et al. (2000)은 웹 문서에서 주제적으로 관련된 concept을 추출하여 WordNet을 한층 더 강화했다. Txt2onto(Hawkins et al., 2022)는 텍스트의 수치적 표현을 만들고 이 특징을 지도학습 분류기에 사용해 용어와 concept을 예측하는 NLP-ML 접근법을 제안했다. 최근에는 LLM이 서로 다른 지식 도메인에서 복잡한 언어 패턴을 포착하는 강력한 능력 덕분에, LLMs4OL(Babaei Giglou et al., 2023)이 온톨로지 학습 태스크에 LLM을 이용한 zero-shot 프롬프팅 방법을 사용한다. Schema induction은 사전 정의된 온톨로지 없이 KG 구조를 자동으로 도출한다. Hofer et al. (2024)은 온톨로지 학습을 강조하는 구축 파이프라인을 서베이했고, Dash et al. (2021)은 variational autoencoder를 사용한 canonicalization을 다루었으며, Dognin et al. (2021)은 양방향 text-to-graph 변환에 강화학습을 사용한다.
7 Conclusion
- AutoSchemaKG는 LLM 기반 triple 추출과 schema induction을 통해 KG 구축에서 사전 정의 schema의 필요를 없앤다.
- web-scale 데이터를 처리해 9억 개 이상 노드와 59억 개 엣지의 ATLAS 계열을 구축했고, 추출 precision 95% 이상, 사람 전문가와의 schema alignment 92%를 달성했다.
- multi-hop QA에서 12–18%, LLM factuality에서 최대 9% 향상을 제공한다.
- 전문가 개입 없이도 동적으로 유도된 schema를 갖춘 billion 규모 KG가 LLM의 parametric knowledge를 보완할 수 있음을 보였다.
[Translated by Claude]
AutoSchemaKG는 LLM 기반 triple 추출과 schema induction을 통해 knowledge graph 구축에서 사전 정의된 schema의 필요성을 제거한다. web-scale 데이터를 처리하여 9억 개가 넘는 노드와 59억 개의 엣지로 이루어진 ATLAS 계열을 구축했으며, 95%를 넘는 추출 precision과 사람 전문가와의 92% schema alignment를 달성했다. 우리 접근법은 multi-hop QA에서 12–18%의 향상과 다양한 도메인에 걸친 LLM factuality에서 최대 9%의 개선을 제공한다. 이 연구는 동적으로 유도된 schema를 갖춘 billion 규모 knowledge graph가 전문가 개입 없이도 large language model의 parametric knowledge를 효과적으로 보완할 수 있음을 입증하며, 비정형 텍스트로부터의 자동화된 지식 획득을 위한 확장 가능한 경로를 확립한다.
8 Limitations
- triple 추출과 schema induction에 사용된 기반 LLM의 편향과 한계를 그대로 물려받는다.
- 특히 해당 모델이 전문성을 갖지 못한 특수 도메인에서 성능이 영향을 받을 수 있다.
- 사람이 만든 schema와 높은 semantic alignment를 달성하더라도, 전문가 수준의 개념 조직이 필요한 극히 기술적인 도메인에서는 여전히 어려움을 겪는다.
- 수십억 개의 사실을 추출했음에도 지식이 희소한 영역에서는 불일치, 모순, 정보 공백이 존재할 수 있다.
[Translated by Claude]
유망한 결과에도 불구하고 우리 연구에는 몇 가지 중요한 한계가 있다. 우리 접근법은 triple 추출과 schema induction에 사용된 기반 LLM으로부터 편향과 한계를 물려받으며, 이로 인해 해당 모델이 전문성을 갖추지 못한 특수 도메인에서 성능이 영향을 받을 수 있다. 사람이 만든 schema와 높은 semantic alignment를 달성하기는 하지만, 우리의 induction 방법은 전문가 수준의 개념 조직을 요구하는 극도로 기술적인 도메인에서는 여전히 어려움을 겪는다. 수십억 개의 사실을 추출했음에도 우리 knowledge graph는 지식이 희소한 영역에서 불일치, 모순, 또는 정보의 공백을 포함할 수 있다.
Acknowledgments
- 홍콩 ITC의 ITSP Platform Research Project(ITS/189/23FP)와 홍콩 RGC의 AoE(AoE/E-601/24-N), RIF(R6021-20), GRF(16205322)의 지원을 받았다.
- 대규모 실험을 위한 계산 자원은 HKUST SuperPod에서 지원받았다.
- Huawei와 RGC JRFS2526-6S10의 지원에도 감사를 표한다.
[Translated by Claude]
이 논문의 저자들은 홍콩특별행정구 ITC의 ITSP Platform Research Project(ITS/189/23FP)와 홍콩특별행정구 RGC의 AoE(AoE/E-601/24-N), RIF(R6021-20), GRF(16205322)의 지원을 받았다. 대규모 실험을 위한 계산 자원 지원에 대해 HKUST SuperPod에 감사한다. 또한 Huawei의 지원에도 감사한다. 아울러 RGC JRFS2526-6S10의 지원에도 감사한다.
A Prompts for Triple Extractions
- entity-entity, entity-event, event-event triple 추출에 사용한 프롬프트를 각각 Figure 2, Figure 3, Figure 4로 제시한다.
- 세 프롬프트 모두 출력이 엄격한 JSON 형식을 따르도록 지시한다.
- event-event 프롬프트는 before, after, at the same time, because, as a result의 시간·인과 관계 유형을 명시한다.
[Translated by Claude]
entity-entity, entity-event, event-event triple을 추출하는 데 사용된 프롬프트는 각각 Figure 2, Figure 3, Figure 4에 제시되어 있다.
Entity Relationship Extraction (Figure 2 원문 프롬프트 번역): 하나의 passage가 주어지면, 중요한 모든 entity와 그들 사이의 relation을 간결한 방식으로 요약하라. relation은 head와 tail entity의 정보를 반복하지 않으면서 entity 간의 연결을 간략히 담아내야 한다. entity는 가능한 한 구체적이어야 한다. 대명사는 entity로 간주하지 말고 제외하라. 출력은 다음 JSON 형식을 엄격히 따라야 한다. [ { "Head": "{a noun}", "Relation": "{a verb}", "Tail": "{a noun}", } ... ] 다음은 해당 passage이다.
Event and Entity Triple Extraction (Figure 3 원문 프롬프트 번역): 주어진 문단에서 event와 entity 사이의 참여(participation) 관계를 분석하고 요약하라. 각 event는 하나의 독립된 단일 문장이다. 추가로 event에 참여한 모든 entity를 식별하라. 말줄임표를 사용하지 마라. 다음 JSON 형식으로 엄격히 출력하라. [ { "Event": "{a simple sentence describing an event}", "Entity": ["{entity 1}", "{entity 2}", "..."] } ... ]
Event Relationship Extraction (Figure 4 원문 프롬프트 번역): 문단 내 event들 사이의 관계를 분석하고 요약하라. 각 event는 하나의 독립된 단일 문장이다. before, after, at the same time, because, as a result의 유형을 사용해 event 간의 시간적·인과적 관계를 식별하라. 추출된 각 triple은 구체적이고 의미 있으며 단독으로 성립할 수 있어야 한다. 말줄임표를 사용하지 마라. 출력은 다음 JSON 형식을 엄격히 따라야 한다. [ { "Head": "{a simple sentence describing the event 1}", "Relation": "{temporal or causality relation between the events}", "Tail": "{a simple sentence describing the event 2}" } ... ]
B Implementation Details of Knowledge Graph Construction Framework
- n개의 문서 집합 D = {D1, D2, D3, ..., Dn}이 주어졌을 때 우리 방법이 그래프를 체계적으로 구축하는 과정을 상세히 설명한다.
- B.1은 triple 추출(전처리, 3단계 추출, 구현 고려사항), B.2는 schema induction(추상화 방법론, entity 문맥 강화, 구현 세부)을 다룬다.
[Translated by Claude]
이 절에서 우리는 knowledge graph 구축을 완전히 자동화하는 과정을 자세히 설명한다. n개의 문서 집합 D = {D1, D2, D3, ..., Dn}이 주어지면 우리 방법은 체계적으로 그래프를 구축한다.
B.1 Triple Extraction
- LLM의 생성 능력을 활용해 Dolma 코퍼스의 비정형 텍스트를 구조화된 knowledge triple로 변환하는 다단계 파이프라인이다.
- Entity-Entity, Entity-Event, Event-Event 세 범주의 관계를 체계적으로 추출해 포괄적 KG의 토대를 형성한다.
- 확장성과 복원력을 위해 배치 처리, 텍스트 분할, 견고한 출력 파싱을 결합한다.
- LLM 입력 한계 Lmax를 관리하기 위해 코퍼스를 전처리하고 문서를 필요에 따라 분할하여 배치로 조직한다.
[Translated by Claude]
triple 추출에 대한 우리 접근법은 Large Language Model(LLM)의 생성 능력을 활용해 비정형 텍스트를 구조화된 knowledge triple로 변환하는 다단계 파이프라인을 사용하며 Dolma 코퍼스(Soldaini et al., 2024)를 대상으로 한다. 이 파이프라인은 Entity-Entity, Entity-Event, Event-Event라는 세 범주의 관계를 체계적으로 추출하여 포괄적인 knowledge graph의 토대를 형성한다. 확장성과 복원력을 염두에 두고 설계된 이 방법은 대규모 데이터셋을 효율적으로 처리하기 위해 배치 처리, 텍스트 분할, 견고한 출력 파싱을 통합한다.
추출은 세 개의 순차적 단계로 전개되며 각 단계는 특정 관계 유형에 맞춰져 있고, 하나의 LLM을 서로 다른 프롬프트로 유도하여 JSON 형식의 구조화된 출력을 생성한다. Lmax 토큰으로 표기되는 LLM 입력 용량의 제약을 관리하기 위해, 우리는 텍스트 코퍼스를 전처리하여 호환성을 확보하고 필요에 따라 문서를 분할하며 효율적 처리를 위해 배치로 조직한다. 이 절에서는 전처리 전략, 단계별 추출 과정, 그리고 주요 구현 세부 사항을 설명한다.
B.1.1 Text Preprocessing and Data Organization
- 코퍼스 D에서 메타데이터로 식별하거나 미지정 시 가정하여 영어 텍스트만 남기도록 필터링한다.
- 토큰 한계 Lmax를 지키기 위해 경험적으로 도출한 지시 프롬프트 길이 Linst를 반영하여 세그먼트당 최대 토큰 길이를
Cmax = (Lmax − Linst)로 계산한다. - Cmax를 초과하는 문서는 더 작은 청크로 나누고 각각에 고유 식별자와 메타데이터를 붙여 추적 가능성을 유지한다.
- 전처리된 텍스트는 크기 B의 배치로 묶이며 패딩과 truncation을 조정한 토큰화를 적용한다.
[Translated by Claude]
n개 문서로 이루어진 코퍼스 D = {D1, D2, ..., Dn}이 주어지면, 우리는 먼저 우리 LLM의 언어 능력에 맞추기 위해 메타데이터를 통해 식별되거나 명시되지 않은 경우 가정을 통해 영어 텍스트만 포함하도록 데이터셋을 필터링한다. 토큰 한계 Lmax를 준수하기 위해, 경험적 관찰에서 도출한 지시 프롬프트 길이 Linst를 고려한다. 텍스트 세그먼트당 최대 토큰 길이 Cmax는 다음과 같이 계산된다: Cmax = (Lmax − Linst).
Cmax를 초과하는 문서는 더 작은 청크로 나뉘며, 각 청크에는 추적 가능성을 유지하기 위해 고유 식별자와 메타데이터가 태깅된다. 이 분할은 입력이 LLM의 토큰 용량 내에 머무르도록 보장하면서 잘림 없이 문맥적 무결성을 보존한다.
전처리된 텍스트는 이어서 크기 B의 배치로 묶이며, 표준 데이터셋 로딩 도구와 통합되는 맞춤형 데이터 관리 프레임워크를 활용한다. 각 배치에 토큰화가 적용되고 패딩과 truncation을 조정하여 LLM 처리에 적합한 일관된 입력 표현을 만들어낸다.
B.1.2 Stage 1: Extraction of Entity-Entity Relationships
- Figure 2에 나타난 것처럼 인물, 조직, 장소 같은 named entity 사이의 연결을 식별한다.
- 각 배치 앞에 시스템 프롬프트 PEE를 붙이고 그 뒤에 분할된 텍스트를 배치한다.
- 파싱은 모델의 답변 시작 토큰 Tstart를 찾아 구조화된 내용을 분리하고, 잘못된 JSON을 복구한 뒤 딕셔너리 리스트를 추출한다.
- 파싱 오류가 발생하면 빈 리스트를 반환해 파이프라인의 연속성을 보장한다.
[Translated by Claude]
첫 번째 단계에서는 Figure 2에 나타난 것처럼 Entity-Entity 관계를 추출하여 개인, 조직, 장소 같은 named entity 사이의 연결을 식별한다. 각 배치에 대해 우리는 LLM에게 entity와 그들의 상호 관계를 탐지하도록 지시하는 시스템 프롬프트 PEE를 앞에 붙이고 그 뒤에 분할된 텍스트를 이어 붙인다. LLM은 JSON 형식의 응답을 생성하고, 이는 이어서 디코딩되고 파싱된다. 파싱 과정은 모델의 답변 시작 토큰 Tstart를 찾아 구조화된 내용을 분리하고, 잘못된 형식의 JSON을 복구하며, 딕셔너리 리스트를 추출한다. 각 딕셔너리는 triple (e1, r, e2)를 나타내며 e1, e2 ∈ VN은 entity 노드이고 r ∈ R은 relation type이다. 파싱에서 오류가 발생하면 파이프라인의 연속성을 보장하기 위해 빈 리스트를 반환한다.
B.1.3 Stage 2: Extraction of Entity-Event Relationships
- Figure 3처럼 entity를 특정 사건이나 event에 연결하는 데 초점을 맞춘다.
- Stage 1의 원본 텍스트 세그먼트에 새로운 프롬프트 PEV를 적용한다.
- 생성과 파싱 단계는 Stage 1과 동일하며 (e, r, v) 또는 (v, r, e) 형태의 triple을 만든다.
- 이 양방향 추출은 event에 관여한 entity와 entity에 결부된 event를 모두 포착해 그래프의 관계적 깊이를 높인다.
[Translated by Claude]
두 번째 단계는 Figure 3에 나타난 것처럼 Entity-Event 관계에 초점을 맞추어 entity를 특정 사건이나 event에 연결한다. Stage 1의 원본 텍스트 세그먼트를 사용하여, 우리는 LLM이 event와 그에 연관된 entity를 식별하도록 지시하는 새로운 프롬프트 PEV를 적용한다. 생성 및 파싱 단계는 Stage 1과 동일하며, (e, r, v) 또는 (v, r, e) 형태의 triple을 생성하고 여기서 e ∈ VN, v ∈ VE(event 노드), r ∈ R이다. 이 양방향 추출은 event에 관여한 entity와 entity에 결부된 event를 모두 포착하여 그래프의 관계적 깊이를 강화한다.
B.1.4 Stage 3: Extraction of Event-Event Relationships
- Figure 4처럼 event 사이의 인과적·시간적·논리적 연결을 탐지한다.
- 특화 프롬프트 PVV를 텍스트 세그먼트에 적용해 (v1, r, v2) 형태의 triple을 생성한다.
- 파싱 과정은 동일한 방법론을 따르며 필요 시 JSON 출력을 복구한다.
- 복잡할 수 있는 event 설명을 수용하기 위해 생성 한계를
Lext = α · Lmax(α > 1)로 확장한다.
[Translated by Claude]
세 번째 단계는 Figure 4에 나타난 것처럼 Event-Event 관계를 대상으로 하여 event 사이의 인과적, 시간적 또는 논리적 연결을 탐지한다. 특화된 프롬프트 PVV가 텍스트 세그먼트에 적용되어 LLM이 (v1, r, v2) 형태의 triple을 생성하도록 유도하며 v1, v2 ∈ VE이고 r ∈ R이다. 파싱 과정은 동일한 방법론을 따르며 필요에 따라 JSON 출력을 복구한다. 복잡할 수 있는 event 설명을 수용하기 위해 우리는 생성 한계를 Lext = α · Lmax로 확장하며 여기서 α > 1은 스케일링 인자로, event 상호작용을 빠짐없이 포착하도록 보장한다.
B.1.5 Implementation Considerations
- 파이프라인은 Google, Meta, Mistral, Microsoft 등의 다양한 LLM을 지원하며 bfloat16 또는 float16 등 최적화된 정밀도 설정을 사용한다.
- GPU에 배포하며 입출력 형식은 모델별 chat template Tchat에 따른다.
- 추출된 triple은 원문 및 메타데이터와 함께 배치 단위 JSON 파일로 직렬화되어 이후 schema induction과 평가를 가능하게 한다.
- Lmax, Cmax, B 같은 변수를 사용해 모델과 데이터셋에 걸친 유연성을 확보한다.
[Translated by Claude]
이 파이프라인은 Google, Meta, Mistral, Microsoft 등의 모델을 포함한 다양한 LLM을 지원하며, 최적화된 정밀도 설정(예: bfloat16 또는 float16)으로 구성되고 해당되는 경우 가속 기법으로 강화된다. 배포는 GPU에서 이루어지며 입출력 형식은 호환성을 보장하기 위해 모델별 chat template Tchat에 의해 규율된다. 추출된 triple은 대응하는 텍스트 및 메타데이터와 함께 배치별 JSON 파일로 직렬화되어 이후의 schema induction과 평가를 가능하게 한다.
이 다단계 파이프라인은 각 관계 유형을 체계적으로 다룸으로써 철저한 triple 추출을 달성하며, 확장 가능하고 오류에 강한 프레임워크 내에서 LLM의 생성 능력을 활용한다. Lmax, Cmax, B 같은 변수의 사용은 서로 다른 모델과 데이터셋에 걸친 유연성을 보장하여 방법론의 적응성과 일반화 가능성을 강화한다.
B.2 Schema Induction
- 추출된 triple의 특정 entity, event, relation을 일반화된 type으로 추상화하여 일관되고 적응적인 schema를 형성한다.
- LLM의 문맥 이해를 활용해 각 그래프 요소의 type이나 관련 concept을 나타내는 conceptual phrase를 생성한다.
- 유도된 schema는 형식 정의
G = (V, E, C, ϕ, ψ)와 정합하며, C는 concept 집합이고 ϕ와 ψ는 노드와 relation을 C의 부분집합에 매핑한다. - 대상 구성요소는 event(VE), entity(VN), relation(R) 세 가지이며 각각에 대해 conceptual phrase 집합을 만들어 C를 구성한다.
[Translated by Claude]
knowledge triple을 추출한 후 우리 방법론은 schema induction으로 나아가는데, 이는 특정한 entity, event, relation을 일반화된 type으로 추상화하여 knowledge graph에 대해 일관되고 적응적인 schema를 형성하는 핵심 단계다. 이 과정은 Large Language Model(LLM)의 문맥적 이해를 활용해 각 그래프 요소의 type 또는 관련 concept을 나타내는 conceptual phrase를 생성하며, 이를 통해 그래프가 수작업 schema 설계 없이도 다양한 도메인에 걸쳐 확장될 수 있게 한다. 유도된 schema는 knowledge graph의 형식적 정의 G = (V, E, C, ϕ, ψ)와 정합하며, 여기서 C는 concept의 집합을 나타내고 ϕ와 ψ는 각각 노드와 relation을 C의 부분집합에 매핑한다.
우리의 schema induction 파이프라인은 Dolma 코퍼스(Soldaini et al., 2024)에서 추출된 triple을 처리하여 배치로 조직하고 생성적 접근법을 사용해 추상적 표현을 도출한다. 이 과정은 event(VE), entity(VN), relation(R)의 세 구성요소를 대상으로 하며, 각각에 대해 conceptual phrase 집합을 생성하고 이들이 모여 concept 집합 C를 형성한다. 이 절에서는 추상화 방법론, entity conceptualization에서 문맥의 역할, 그리고 주요 구현 세부 사항을 설명한다.
B.2.1 Abstraction Methodology
- knowledge graph G의 노드와 엣지를 event, entity, relation으로 범주화하는 데서 시작한다.
- 각 범주의 요소를 크기 Bs의 배치로 처리하며, LLM은 1~2 단어로 이루어진 phrase 목록을 생성한다.
- phrase는 요소의 type이나 관련 concept을 담고, 추상화 수준이 다양해야 하며, 반복이나 원본 입력어 포함을 피해야 한다. 요소당 최소 3개를 목표로 한다.
- 예: event "Sam playing with his dog" → "playing", "bonding", "relaxing event" / relation "participated in" → "engage in", "attend", "involve in".
- 배치 처리 시 입력 프롬프트는 최대 길이 Ltok으로 토큰화되고, temperature τ와 top-p 확률 p로 창의성과 일관성을 조절한다.
[Translated by Claude]
schema induction은 knowledge graph G의 노드와 엣지를 event, entity, relation으로 범주화하는 것에서 시작한다. 각 범주에 대해 우리는 계산 효율성과 확장성을 최적화하기 위해 요소들을 크기 Bs의 배치로 처리한다. LLM은 맞춤형 지시를 받아, 입력 요소를 추상적으로 대표하는 한두 단어짜리 phrase 목록을 생성한다. 이 phrase들은 몇 가지 기준을 충족해야 한다. 요소의 type이나 관련 concept을 담아야 하고, 추상화 수준이 다양해야 하며, 반복이나 원본 입력어의 포함을 피해야 한다. 각 요소에 대해 최소 세 개의 phrase를 목표로 하지만, LLM의 출력에 따라 더 많이 생성될 수도 있다.
event(v ∈ VE)에 대해서는 프롬프트가 LLM에게 추상적 event type이나 관련 관념을 식별하도록 지시한다. 예를 들어 "Sam playing with his dog" 같은 event는 "playing", "bonding", "relaxing event" 같은 phrase를 산출할 수 있으며 이들은 서로 다른 일반화 수준을 반영한다. entity(e ∈ VN)에 대해서도 프롬프트는 유사하게 추상적 entity type을 이끌어내되, 아래에 상술하듯 그래프 구조에서 도출한 문맥 정보로 보강된다. relation(r ∈ R)은 그 의미적 본질을 담아내는 phrase로 추상화되며, 예컨대 "participated in"은 "engage in", "attend", "involve in"으로 변환된다. LLM은 이러한 출력을 구조화된 형식으로 생성하고, 우리는 이를 phrase 목록으로 파싱하여 concept 집합 C에 대한 매핑 ϕ(v), ϕ(e), ψ(r)를 형성한다.
추상화 과정은 배치 단위로 작동하며 Bs개의 요소를 동시에 처리한다. 입력 프롬프트는 최대 길이 Ltok으로 토큰화되고, LLM은 창의성과 일관성의 균형을 맞추기 위해 통제된 파라미터(예: temperature τ와 확률 p의 top-p 샘플링) 하에서 응답을 생성한다. 결과 phrase들은 대응하는 요소와 함께 저장되어 추적 가능성을 보장하고 이후 분석을 가능하게 한다.
B.2.2 Contextual Enhancement for Entities
- entity 추상화 정확도를 높이기 위해 knowledge graph에서 추출한 문맥 정보를 통합한다.
- 각 entity e ∈ VN에 대해 선행 노드와 후행 노드 및 연관 relation을 살펴보고, Nctx(예: 선행 1개, 후행 1개)로 제한된 부분집합을 무작위 샘플링해 context 문자열을 구성한다.
- 예: "Black Mountain College"에 "started by John Andrew Rice"라는 context가 주어지면 "college", "school", "liberal arts college" 같은 phrase가 나온다.
- 반면 event와 relation은 그래프 연결성이 아닌 내재적 의미에 초점을 맞추므로 추가 문맥 없이 텍스트 설명만으로 추상화한다.
[Translated by Claude]
Figure 6에 나타난 것처럼, entity 추상화의 정확도를 높이기 위해 우리는 knowledge graph에서 추출한 문맥 정보를 통합한다. 각 entity e ∈ VN에 대해 우리는 그 이웃 노드(선행 노드와 후행 노드)와 이들에 연관된 relation을 살펴본다. Nctx(예: 선행 노드 하나와 후행 노드 하나)로 제한된 이웃의 부분집합을 무작위로 샘플링하여 context 문자열을 구성한다. 이 문자열은 이웃의 정체성과 relation을 이어 붙여(예: "neighbor1 relation1, relation2 neighbor2") LLM에 추가적인 의미 단서를 제공한다. 예를 들어 "started by John Andrew Rice"라는 context를 가진 entity "Black Mountain College"는 "college", "school", "liberal arts college" 같은 phrase를 산출할 수 있다. 이러한 문맥적 보강은 추상화된 type이 그래프 내에서 해당 entity가 갖는 역할에 근거하도록 보장하여 schema의 적합성과 구체성을 향상시킨다.
반면 Figure 5와 Figure 7에서 보듯이 event와 relation은 추가 문맥 없이 오직 그들의 텍스트 설명에만 의존하는데, 이는 이들의 추상화가 그래프 연결성보다는 내재적 의미에 초점을 맞추기 때문이다. 이 차이는 knowledge graph 구조에서 노드와 엣지가 갖는 서로 다른 역할을 반영한다.
B.2.3 Implementation Details
- triple 추출 단계에서 직렬화된 그래프 G를 처리하며, 보통 바이너리 형식으로 저장되어 메모리에 로드된다.
- 요소는 배치로 분할되며 분산 계산을 위해 전체를 Stotal개 슬라이스로 나누고 Sslice번째 부분만 처리하는 슬라이싱 옵션을 제공한다.
- 샘플 크기 Nsample이 지정되면 배치의 무작위 부분집합만 선택해 실험 시간을 줄인다.
- 생성된 phrase는 원본 요소, 추상화된 phrase, type(event/entity/relation)을 각 행에 기록한 CSV 파일로 저장되고, 후처리로 C의 고유 concept 통계를 계산한다.
[Translated by Claude]
schema induction 파이프라인은 triple 추출 단계에서 직렬화된 그래프 G를 처리하며, 이 그래프는 보통 바이너리 형식으로 저장되어 메모리에 로드된다. 요소들은 배치로 분할되며, 분산 계산을 위해 작업량을 Stotal개의 슬라이스로 나누고 Sslice번째 부분을 처리하는 슬라이싱을 적용하는 옵션이 있다. 샘플 크기 Nsample이 지정되면 실험 중 처리 시간을 줄이기 위해 배치의 무작위 부분집합이 선택된다.
정밀도 설정(예: float16)으로 구성되고 가속 기법으로 최적화된 LLM은 GPU 상에서 작동하여 배치 추론을 효율적으로 처리한다. 프롬프트는 LLM의 입출력 관례와의 호환성을 보장하기 위해 모델별 chat template Tchat을 사용해 형식화된다. 생성된 phrase는 CSV 파일에 기록되며, 각 행에는 원본 요소, 추상화된 phrase, 그리고 그 type(event, entity, relation)이 담긴다. 후처리는 이 phrase들을 집계해 C의 고유 concept을 계산하고, 서로 다른 event type, entity type, relation type의 개수 같은 schema의 커버리지 통계를 제공한다.
이 접근법은 유연하고 자동화된 schema를 산출하며, 각 노드 v ∈ V와 relation r ∈ R을 ϕ와 ψ를 통해 C의 concept 부분집합에 매핑한다. 특정 인스턴스를 일반적 type으로 추상화함으로써 유도된 schema는 knowledge graph의 적응성을 강화하며, 수작업 큐레이션 없이도 다양한 도메인에 걸친 downstream 응용을 지원한다.
C Experiment Settings of Schema Accuracy
- schema 정확도 평가를 위한 데이터셋(C.1)과 지표(C.2)를 설명한다.
- entity typing은 FB15kET과 YAGO43kET, event typing은 wikiHow, relation typing은 FB15kET을 사용한다.
- 지표는 BertScore 기반의 BS-R(BertScore-Recall)과 BS-C(BertScore-Coverage)이다.
[Translated by Claude]
C.1 Datasets
- Entity Typing: FB15kET(Bordes et al., 2013)과 YAGO43kET(Moon et al., 2017a)의 typed entity를 사용하며 각각 3,584개, 45,182개의 entity type이 있다.
- Event Typing: wikiHow(Koupaee and Wang, 2018)를 사용하며 P2GT(Chen et al., 2020)가 수집한 12,795개 event 사이의 625개 event type이 있다.
- Relation Typing: FB15kET relation의 "/"로 구분된 domain segment를 type으로 사용하며 1,345개 relation 사이에 607개 relation type이 있다.
- 모든 태스크에서 test set의 요소와 그 type을 ground truth로 사용해 induction 성능을 검증한다.
[Translated by Claude]
Entity Typing. 우리는 두 개의 실세계 knowledge graph인 FB15kET(Bordes et al., 2013)과 YAGO43kET(Moon et al., 2017a)의 typed entity에 대해 실험을 수행하며, 이들은 각각 Freebase(Bollacker et al., 2008)와 YAGO(Suchanek et al., 2007)의 부분집합이다. entity의 type은 (Moon et al., 2017b)에서 수집되었다. FB15kET과 YAGO43kET에는 각각 3,584개와 45,182개의 entity type이 있다. 우리는 이 두 데이터셋의 테스트 집합에 있는 entity와 그 type을 ground truth로 사용하여 우리 schema induction 방법의 entity induction 성능을 검증한다.
Event Typing. 우리는 wikiHow(Koupaee and Wang, 2018)의 typed event에 대해 실험을 수행하는데, wikiHow는 전문적으로 편집된 how-to 안내 문서 모음을 담고 있는 온라인 커뮤니티다. event의 type은 P2GT(Chen et al., 2020)에 의해 수집되었다. 12,795개의 event 사이에 625개의 event type이 있다. 우리는 wikiHow 테스트 집합의 event와 그 type을 ground truth로 사용하여 우리 schema induction 방법의 event induction 성능을 검증한다.
Relation Typing. 우리는 FB15kET(Bordes et al., 2013)의 relation에서 "/"로 구분된 domain segment를 활용하여 relation type을 추출한다. 이 domain segment들이 ground truth type 역할을 하며 마지막 domain 구성요소가 relation 자체로 기능한다. FB15kET에는 1,345개의 relation 사이에 607개의 relation type이 있다. 우리는 FB15kET 테스트 집합의 relation과 그 type을 ground truth로 사용하여 우리 schema induction 방법의 relation induction 성능을 검증한다.
C.2 Metrics
- 평가 지표로 BertScore-Recall(BS-R)과 BertScore-Coverage(BS-C)를 사용하며, 각 인스턴스 또는 전체 테스트 집합에서 몇 개의 type이 recall되는지를 계산한다.
- BertScore(Zhang et al., 2019)는 RoBERTa(Liu et al., 2019)로 얻은 토큰 임베딩의 최대 유사도를 평균해 BertRecall과 BertPrec을 계산하고 그 조화평균으로 BS를 정의한다.
- BS-R은 각 테스트 인스턴스 내 ground truth type 집합 T와 유도된 schema 집합 T̂에 대해, BS-C는 전체 테스트 집합 단위의 St와 St̂에 대해 계산된다.
[Translated by Claude]
우리는 평가 지표로 BertScore-Recall과 BertScore-Coverage를 사용하며 각각 BS-R과 BS-C로 표기한다. 이들은 각 인스턴스 또는 전체 테스트 집합에서 얼마나 많은 type이 우리 schema induction 방법에 의해 recall되는지를 계산하는 데 사용된다. 각 type과 유도된 schema 쌍 사이의 BertScore(Zhang et al., 2019)(BS로 표기)는 다음과 같이 계산된다.
BertRecall = (1/|t|) Σ_{ti ∈ t} max_{t̂j ∈ t̂} x_ti⊤ x_t̂j (1)
BertPrec = (1/|t̂|) Σ_{t̂i ∈ t̂} max_{tj ∈ t} x_tj⊤ x_t̂i (2)
BS(t, t̂) = 2 · BertRecall · BertPrec / (BertRecall + BertPrec) (3)
여기서 t와 t̂는 각각 ground truth type과 유도된 schema의 토큰을 나타낸다. type t 또는 유도된 schema t̂의 각 토큰 ti 또는 t̂j의 임베딩 벡터는 x_ti와 x_t̂j로 표기되며, 이들은 RoBERTa(Liu et al., 2019)로 얻는다. 그러면 BS-R과 BS-C는 다음과 같이 계산할 수 있다.
BS-R(T, T̂) = (1/|T̂|) Σ_{t̂ ∈ T̂} max_{t ∈ T} BS(t, t̂) (4)
BS-C(St, St̂) = (1/|St̂|) Σ_{t̂ ∈ St̂} max_{t ∈ St} BS(t, t̂) (5)
여기서 T와 T̂는 각 테스트 인스턴스에서의 ground truth type 집합과 유도된 schema 집합을 각각 나타낸다. 마찬가지로 St와 St̂는 전체 테스트 집합에 걸친 ground truth type 집합과 유도된 schema 집합을 나타낸다.
D Experiment Details
- Think on Graph(ToG)는 우리 코퍼스에서 파생한 KG 위에서 구현했으며, multi-qa-MiniLM-L6-dot-v1로 임베딩을 계산하고 FAISS로 인덱싱한다.
- LLama-3.3-70B-Instruct가 entity 인식, 경로 스코어링, 추론, 답변 생성을 수행한다.
- HippoRAG는 NER로 personalized dictionary를 만들어 PageRank를 실행하고, HippoRAG2는 상위 30개 엣지(musique는 50개)를 LLM으로 필터링하며 weight adjustment 0.9를 적용한다.
- damping factor는 0.9로 설정해 로컬 subgraph 내 전파에 집중한다.
- 그래프 구축은 Lmax = 1024, B = 16, schema induction은 Bs = 5로 설정하고 LLaMA-3.1-8B-Instruct(bfloat16 + Flash Attention 2)를 사용한다. 검색용 그래프는 NetworkX에 저장하고 답변 생성은 LLaMA-3.3-70B-Instruct가 담당한다.
- 계산 비용은 En-Wiki 14,300 GPU 시간, Pes2o-Abstract 11,800 GPU 시간, Common Crawl 52,300 GPU 시간으로 총 약 78,400 GPU 시간이다.
[Translated by Claude]
Think on Graph Settings 우리는 우리 코퍼스에서 파생된 knowledge graph를 사용해 Think on Graph(ToG)(Sun et al., 2024a)를 구현한다. 노드는 추출된 entity와 concept을 나타내고 엣지는 의미적 relation을 보여준다. 우리는 multi-qa-MiniLM-L6-dot-v1을 사용해 모든 그래프 요소의 임베딩을 계산하고 FAISS로 인덱싱한다. LLama-3.3-70B-Instruct가 entity 인식, 경로 스코어링, 추론, 답변 생성을 수행한다. 이 워크플로는 질의 entity를 추출하고, 시작 노드를 검색하며, 깊이 제한 탐색으로 그래프 경로를 탐험하고, 무관한 경로를 가지치기한 뒤, 검색된 경로에 기반해 답변을 생성한다. Appendix Algorithm 1이 상세 내용을 제공한다.
HippoRAG 1&2 Settings HippoRAG(Gutiérrez et al., 2024) 구현에서 우리는 원래 프레임워크를 확장하여 맞춤형 그래프 위에서 작동하도록 했다. 기초 논문에 처음 제시된 대로, 우리는 PageRank 실행을 위한 personalized dictionary를 만들기 위해 개체명 인식(NER)을 사용한다. HippoRAG2(Gutiérrez et al., 2025)에 대해서는 LLM 필터링을 위해 상위 30개 엣지(musique 데이터셋은 50개 엣지)를 선택하고 0.9의 weight adjustment factor를 적용한다. 우리 그래프가 subgraph를 효과적으로 찾아내는 능력과, 다양한 그래프 구성(entity, event, concept)이 서로 다른 밀도의 그래프를 만들어낸다는 점을 고려하여, 우리는 damping factor를 0.9로 설정해 로컬 subgraph 내에서의 전파에 집중하도록 했다. 추가 구현 세부 사항은 Algorithm 2를 참조하라.
Implementation Details knowledge graph는 (Gutiérrez et al., 2024)를 따라 각 데이터셋에 대응하는 context 코퍼스로부터 AutoSchemaKG 프레임워크를 사용해 Lmax = 1024, B = 16으로 구축되며, schema induction 파이프라인(Section 3)은 Bs = 5로 설정된다. 우리는 그래프 구축에 Meta의 LLaMA-3.1-8B-Instruct를 사용하며 bfloat16 정밀도와 Flash Attention 2로 최적화한다. 그래프는 검색을 위해 NetworkX에 저장되며, subgraph는 답변 생성을 위해 LLaMA-3.3-70B-Instruct에 입력된다.
Computational Cost 우리는 FP16 연산 1,513 TFLOPS의 80GB GPU를 사용하고 Flash Attention과 함께 Llama-3-8B-instruct를 실행하여 knowledge graph를 구축했다. 계산 요구량은 상당했다. En-Wiki(243.9M 노드, 1.49B 엣지)에 14,300 GPU 시간, Pes2o-Abstract(174.4M 노드, 1.15B 엣지)에 11,800 GPU 시간, Common Crawl(937.3M 노드, 5.96B 엣지)에 52,300 GPU 시간이 소요되었다. 1024 토큰 청크를 배치로 처리하면서 우리는 수십억 개의 의미적 관계를 추출하기 위해 총 약 78,400 GPU 시간을 투입했다.
E Additional Technical Analyses
- 단일 LLM judge의 편향을 줄이기 위해 Kimi-K2-Instruct와 GPT-4o로 추가 교차 검증했고, 상대적 순위는 주 평가와 일치한다.
- OpenIE 6와 Stanford OIE를 유지하는 이유는 이들이 우리가 넘어서려는 전통적 SPO-triple 패러다임의 대표 시스템이기 때문이다.
- LLaMA-3.3-70B로 그래프를 재구축한 apples-to-apples 비교에서 AutoSchemaKG는 MuSiQue와 HotpotQA의 F1을 개선했고 2Wiki에서는 baseline이 근소하게 앞선다.
- concept 노드 기여를 명확히 하기 위해 동일 reader(HippoRAG2)와 constructor(LLaMA-3.1-8B)로 ablation을 수행했으며, Entity-KG → Entity-Event-KG → Full-KG 진행이 concept 노드 추가 효과를 분리해 보여준다.
- schema-free 설정에서는 triple 수준의 전체적 schema conformation을 downstream 기능적 타당성으로 본다. 또한 LLM 의존성과 배포 비용은 web-scale 구축의 현재 trade-off로 명시하며 압축/증류와 도메인 적응을 실용적 경로로 본다.
[Translated by Claude]
Multi-judge validation for triple extraction quality 단일 LLM judge를 사용하는 데서 오는 잠재적 편향을 줄이기 위해, 우리는 추가로 Kimi-K2-Instruct와 GPT-4o로 추출 품질을 교차 검증했다. ATLAS-Wiki, ATLAS-Pes2o, ATLAS-CC 전반에서 상대적 순위는 우리의 주 평가와 일치한다. entity-entity, event-entity, event-event triple을 함께 고려할 때 AutoSchemaKG는 전반적인 추출 품질에서 OpenIE 6와 Stanford OIE보다 여전히 우수하다.
Why we keep classic OpenIE baselines 우리는 OpenIE 6(Kolluru et al., 2020)과 Stanford OIE(Angeli et al., 2015)를, 우리 연구가 넘어서고자 하는 전통적 SPO-triple 패러다임을 대표하는 시스템으로 포함한다. 더 새로운 시스템들이 추출 품질을 개선하기는 하지만(Dong et al., 2023; Liao et al., 2024), 이들은 여전히 주로 동일한 단절된 triple 중심 구조 안에서 작동한다. 따라서 우리 비교는 하나의 추출 모듈에서의 좁은 점진적 이득이 아니라 이러한 구조적 차이(유도된 schema를 갖춘 entity-event-concept 그래프 대 전통적 triple 전용 그래프)에 초점을 맞춘다.
Apples-to-apples 70B constructor comparison 우리는 또한 AutoSchemaKG 그래프 구축을 (8B 대신) LLaMA-3.3-70B로 다시 실행하고 HippoRAG-2와 동일한 QA 설정으로 평가했다.
Clarifying the contribution of concept nodes concept 노드의 기여를 명확히 드러내기 위해, Table 12는 동일한 reader(HippoRAG2)와 constructor(LLaMA-3.1-8B)를 사용한 ablation을 보고한다. Entity-KG에서 Entity-Event-KG를 거쳐 Full-KG로 이어지는 진행은 concept 노드를 추가하는 효과를 분리해 보여준다.
Schema conformation beyond component typing schema-free 설정에 대해 우리는 triple 수준에서의 전체적 schema conformation을 downstream 기능적 타당성을 통해 바라본다. 즉 추출된 triple이 전체로서 의미적으로 일관되지 않다면 multi-hop 추론을 뒷받침할 수 없다. 따라서 우리는 강력한 QA 및 검색 결과를 구성요소 수준의 typing 지표(Table 6과 7)를 보완하는 증거로 해석한다.
Clarification on LLM dependency and deployment cost AutoSchemaKG는 의도적으로 강력한 LLM을 구축 엔진으로 사용하지만, 핵심 기여는 기반 모델이 향상될수록 함께 개선될 수 있는 그래프 구축 프레임워크(entity-event-concept 추출과 동적 schema induction)이다. 우리는 계산과 저장 오버헤드를 web-scale 구축을 위한 현재의 trade-off로 명시적으로 인정하며, 압축/증류와 도메인 특화 적응(파인튜닝 또는 retrieval grounding)을 특수하거나 자원이 제한된 시나리오에서 배포를 개선하기 위한 실용적 경로로 본다.
F Case Study Examples
- Figure 9와 Figure 10은 retrieval-augmented generation에서 knowledge graph를 효과적으로 활용하는 데 event와 concept이 결정적인 구체적 사례를 보여준다.
- Figure 9는 entity만으로는 놓치는 필수 문맥 정보를 event 노드가 제공하는 방식을 예시한다.
- Figure 10은 concept 노드가 단절된 subgraph 사이에 의미적 다리를 놓아 복잡한 질문에 대한 더 포괄적인 추론을 가능하게 하는 방식을 보여준다.
[Translated by Claude]
Figure 9와 Figure 10은 retrieval-augmented generation에서 knowledge graph를 효과적으로 활용하는 데 event와 concept이 결정적인 구체적 사례를 보여준다. Figure 9는 entity만을 사용하는 표현이 놓치는 필수적인 문맥 정보를 event 노드가 어떻게 제공하는지를 예시하며, Figure 10은 concept 노드가 그렇지 않았다면 단절되었을 subgraph들을 가로질러 의미적 다리를 놓아 복잡한 질문에 대해 더 포괄적인 추론을 가능하게 하는 방식을 보여준다.
G Algorithm for RAG
- AutoSchemaKG로 구축한 다양한 그래프에 대한 RAG 평가에 사용된 모든 알고리즘을 수록한다.
- Algorithm 1은 우리 knowledge graph를 활용해 multi-hop question answering을 수행하는 Think-on-Graph 추론 방법이다.
- 서로 다른 규모의 entity-event-concept 그래프에 맞춰 HippoRAG2의 두 변형을 구현했다. Algorithm 2는 더 작고 집중된 그래프 탐색용, Algorithm 3은 메모리 관리를 최적화한 대규모 그래프 탐색용이다.
[Translated by Claude]
우리는 AutoSchemaKG로 구축한 다양한 그래프에 대한 RAG 평가에 사용된 모든 알고리즘을 포함한다. Algorithm 1은 multi-hop question answering을 위해 우리 knowledge graph를 활용하는 Think-on-Graph 추론 방법을 제시한다. 서로 다른 규모의 entity-event-concept 그래프에 적응시키기 위해 우리는 HippoRAG2의 두 가지 변형을 구현했다. 더 작고 집중된 그래프 순회를 위한 Algorithm 2와, 메모리 관리를 최적화한 대규모 그래프 탐색을 위한 Algorithm 3이다. 이러한 적응은 우리 ATLAS knowledge graph의 풍부한 의미 구조를 효율적으로 탐색할 수 있게 해준다.
Algorithm 1 (Think on Graph) 요약: 입력은 knowledge graph G, 질의 q, Top-N 파라미터, 최대 깊이 Dmax이며 출력은 q에 대한 답변이다. NER로 질의에서 entity를 추출하고 entity 유사도에 기반해 G에서 상위 k개의 초기 노드를 검색한다. 각각 하나의 초기 노드를 담는 경로 집합 P를 만들고 현재 탐색 깊이 D를 0으로 둔다. D ≤ Dmax인 동안 Search(q, P, G)로 경로를 한 홉 확장하고 Prune(q, P, N)으로 가장 관련성 높은 상위 N개 경로만 남긴다. Reasoning(q, P)이 경로가 충분하다고 판단하면 Generate(q, P)로 답변을 생성해 반환하고, 그렇지 않으면 D를 1 증가시킨다. 루프를 벗어나면 사용할 수 있는 최선의 경로로 답변을 생성한다. SEARCH 절차는 각 경로 p의 마지막 entity etail에 대해 아직 p에 포함되지 않은 후행 노드 집합 S와 선행 노드 집합 R을 구한다. 둘 다 비어 있으면 막다른 경로를 그대로 유지하고, 그렇지 않으면 S의 각 노드에 대해 etail에서 해당 노드로 가는 relation r을 붙여 경로를 앞으로 확장하고, R의 각 노드에 대해 해당 노드에서 etail로 가는 relation r을 붙여 경로를 뒤로 확장한다. PRUNE 절차는 LLM 관련성 평가(1–5 척도)로 P의 각 경로에 점수를 매기고 점수 내림차순으로 정렬하여 상위 N개를 반환한다. REASONING 절차는 P의 경로에서 triple을 추출하고 이 triple이 q에 답하기에 충분한지 LLM에게 Yes/No로 묻는다. GENERATE 절차는 P의 경로에서 triple을 추출하고 triple과 질의 q로 LLM을 프롬프팅해 답변을 생성한다.
Algorithm 2 (HippoRAG2) 요약: 일반적인 알고리즘은 원래 구현을 따르되 우리는 그래프와 임베딩의 초기화를 수정한다. INIT(graph_type) 함수는 graph_type이 entity이면 Graph(entity)와 Embeddings(entity)를, entity+event이면 Graph(entity, event)와 Embeddings(entity, event)를, entity+event+concept이면 Graph(entity, event, concept)와 Embeddings(entity, event, concept)를 설정한다. QUERY2EDGE(query, topN) 함수는 Retriever(query)로 Qemb를 얻고, 사전 계산된 엣지 임베딩과의 유사도 점수 S = Q · We를 계산하며, 점수 기준 상위 N개 엣지 E = argsorti(S)[:N]을 선택한다. 이어 Large Language Model로 엣지를 필터링하고(filtered_edges), 필터링된 엣지를 원래 엣지에 매핑한 뒤(mapped_edges), 노드 점수를 계산해 반환한다. QUERY2PASSAGE(query, weight_adjust) 함수는 질의를 passage 표현으로 인코딩하고 텍스트 임베딩과의 유사도 점수 Stext를 계산해 점수 딕셔너리를 반환한다. RETRIEVE_PERSONALIZATION_DICT(query, topN) 함수는 query2edge와 query2passage를 호출해 node_dict와 text_dict를 반환한다. RETRIEVE_PASSAGES(query, topN) 함수는 personalization 딕셔너리를 얻은 뒤 node_dict가 비어 있는 경우를 처리하고 이후 검색 절차를 수행한다.
H The Recall Metrics in Open-domain QA Tasks
- k ∈ {2, 5}에 대한 Retrieval Quality 지표
PR@k = |Dk ∩ S| / |S|도 사용한다. PR@k(Partial Recall)는 상위 k개 검색 결과에 supporting document가 포함된 비율을 측정한다. - multi-hop QA 데이터셋(HotpotQA, 2WikiMultihopQA, MuSiQue)에서 이 검색 지표는 다단계 추론에 필요한 근거를 얼마나 잘 검색하는지를 재기 때문에 결정적이다.
- 2WikiMultihopQA와 HotpotQA는 entity 중심적이라 검색기가 관련 subgraph를 쉽게 찾지만, MuSiQue는 질문의 서술 복잡도와 multi-hop 특성 때문에 검색이 훨씬 어렵다.
- 또한 그래프 구축 방식의 차이로 인해 검색기의 성능이 데이터셋마다 달라진다.
[Translated by Claude]
우리는 또한 k ∈ {2, 5}에서의 Retrieval Quality 지표를 사용한다. PR@k = |Dk ∩ S| / |S|이며, 여기서 PR@k(Partial Recall)는 supporting document가 상위 k개 안에 들어오는 비율을 측정하고, Dk는 상위 k개 검색 문서의 집합, S는 supporting document의 집합이다. multi-hop QA 데이터셋(HotpotQA, 2WikiMultihopQA, MuSiQue)에서 이러한 검색 지표는 다단계 추론에 필요한 근거를 시스템이 얼마나 효과적으로 검색하는지를 측정하므로 결정적으로 중요하다.
2WikiMultihopQA(Ho et al., 2020)와 HotpotQA(Yang et al., 2018) 같은 데이터셋의 질문은 더 entity 중심적인 경향이 있어 관계와 entity가 더 명시적으로 표현되며, 이는 검색기가 관련 subgraph를 쉽게 찾도록 돕는다. 반면 MuSiQue(Trivedi et al., 2022)는 질문의 서술적 복잡성과 multi-hop 특성이 모두 증가하기 때문에 검색에 더 큰 난제를 제기한다. 또한 그래프 구축 방식의 차이로 인해 검색기가 데이터셋마다 다르게 동작한다.
I Details and Full Results on General Benchmarks
- I.1은 FELM에서의 구현 및 평가 세부 사항을, I.2는 MMLU 주제 범주 매핑과 기술 도메인을 포함한 전체 주제 분석을 다룬다.
- 본문 5.3절과 5.4절에서 각각 이 부록을 참조한다.
[Translated by Claude]
I.1 Implementation and Evaluation Details on FELM
- 평가 지표는 원 논문(Chen et al., 2023)을 따라 balanced accuracy와 F1 score를 사용해 factuality checking 능력을 평가한다.
- 인스턴스 내 세그먼트 분류를 위해 모델에게 거짓 세그먼트의 ID를 생성하도록 요청한 뒤 TP, FP, TN, FN을 얻는다.
- balanced accuracy는
TP/(TP+FN) + TN/(TN+FP)로 계산한다(식 6). - factual error 탐지 능력 평가에는
F1 = 2 · Precision · Recall / (Precision + Recall)을 사용한다(식 7).
[Translated by Claude]
평가 지표에 대해 우리는 원 논문(Chen et al., 2023)을 따라 factuality checking 능력을 평가하기 위해 balanced accuracy와 F1 score를 사용한다. 한 인스턴스 내 세그먼트의 분류를 위해 우리는 모델에게 거짓 세그먼트의 ID를 생성하도록 요청하고, 그로부터 true positive(TP), false positive(FP), true negative(TN), false negative(FN) 결과를 얻는다. balanced accuracy는 다음과 같이 계산된다.
Balanced Accuracy = TP/(TP + FN) + TN/(TN + FP) (6)
우리가 factual error 탐지 능력을 평가하는 데 F1 score를 사용하므로, F1 score는 다음과 같이 계산한다.
F1 = 2 · Precision · Recall / (Precision + Recall) (7)
I.2 Implementation and Evaluation Details on MMLU
- 본문 5.4절이 참조하는 부록으로, MMLU 태스크를 주제 범주로 분류한 상세 매핑을 담는다.
- 기술 도메인을 포함한 전체 주제 분석 결과가 여기에 수록된다.
[Translated by Claude]
본문 5.4절에서 "MMLU 태스크를 주제 범주로 분류하고(상세 매핑은 Appendix I.2)", "기술 도메인을 포함한 전체 주제 분석은 Appendix I.2에 있다"라고 참조하는 부록이다. 여기에는 MMLU 하위 태스크를 History, Law, Religion, Philosophy/Ethics, Medicine/Health, Global Facts, Social Sciences, Logic 등의 범주로 매핑한 표와, 수학·기술 도메인을 포함한 모든 주제에 대한 전체 결과가 수록되어 있다.
