우리는 numeric centroid를 주기적으로 텍스트 요약으로 대체하는 k-means의 text clustering 변형인 k-NLPmeans와 k-LLMmeans를 소개한다. 핵심 아이디어인 summary-as-centroid는 embedding 공간에서의 k-means 배정을 유지하면서 사람이 읽을 수 있고 감사 가능한 cluster prototype을 만들어 낸다. 이 방법은 LLM-optional이다. k-NLPmeans는 가볍고 결정론적인 summarizer를 사용하여 오프라인이면서 저비용이고 안정적인 운용을 가능하게 하며, k-LLMmeans는 비용이 데이터셋 크기에 따라 증가하지 않는 고정된 iteration당 예산 아래에서 요약에 LLM을 사용하는 drop-in 업그레이드다. 우리는 또한 streaming text의 실시간 clustering을 위한 mini-batch 확장을 제시한다. 다양한 데이터셋, embedding model, 요약 전략 전반에서 우리의 접근법은 고전적 baseline을 일관되게 능가하며 광범위한 LLM 호출 없이도 최근 LLM 기반 clustering의 정확도에 근접한다. 마지막으로 우리는 순차적 텍스트 스트림에 대한 사례 연구를 제공하고 streaming text clustering을 평가하기 위한 StackExchange 기반 벤치마크를 공개한다.
1 Introduction
- Text clustering은 문서 조직화, 주제 탐색, 정보 검색에 응용되는 NLP의 핵심 문제다. 표준 파이프라인은 문서를 벡터로 embedding한 뒤 clustering algorithm으로 묶으며, 그중 k-means(MacQueen, 1967)가 여전히 보편적이다.
- 그러나 순수하게 수치적인 평균은 원문에 담긴 맥락적 뉘앙스를 흐릴 수 있고, 기존의 대안적 centroid 정의들도 벡터 공간에 묶여 있어 해석 가능성이 제한되며 centroid와 문서 사이에 semantic drift를 유발할 수 있다.
- 제안: k-means에 대한 단순한 수정으로, 일정 간격의 iteration마다 수치적 centroid 갱신을 summarization step으로 대체한다. 각 cluster를 요약한 텍스트 prototype을 같은 encoder로 re-embedding하여 배정에 쓰이는 centroid로 삼는다.
- summarizer는 두 부류다. (1) centroid 기반 요약, TextRank 같은 graph 기반 방법, LSA 계열 기법처럼 빠르고 결정론적인 고전 NLP(→ k-NLPmeans), (2) 더 풍부한 맥락을 포착하고 부차적이거나 noisy한 내용을 걸러 내는 LLM 기반 요약(→ k-LLMmeans).
- summarization step마다 사람이 읽을 수 있는 간결한 centroid가 만들어져 디버깅, 검증, 라벨링이 쉬워지며, 대규모·streaming 환경에서는 mini-batch k-means(Sculley, 2010)의 갱신 규칙에 summarization step을 삽입한다.
- 기존 LLM 기반 clustering이 겪는 (i) 확장성과 (ii) 불투명한 최적화 문제를 k-LLMmeans는 둘 다 다룬다. cluster당 간격을 둔 요약으로 LLM 사용량을 데이터셋 크기와 무관하게 제한하고, 배정과 수치적 갱신은 embedding 공간에 유지하여 요약 단계 사이에 표준 k-means 목적함수를 보존한다.
- 기여는 (i) summary-as-centroid 변형인 k-NLPmeans와 k-LLMmeans 제안, (ii) mini-batch k-means로의 확장, (iii) 데이터셋·embedding·summarizer 전반의 포괄적 실증 연구, (iv) 순차 텍스트 스트림 사례 연구와 StackExchange 기반 벤치마크 공개다.
[Translated by Claude]
Text clustering은 자연어 처리(NLP)의 핵심 문제로, 문서 조직화, 주제 탐색, 정보 검색에 응용된다(Schütze et al., 2008; Steinbach, 2000). 표준 파이프라인은 문서를 벡터로 embedding하고(Devlin, 2018; Sanh, 2019; Mikolov, 2013; Pennington et al., 2014; Brown et al., 2020; Jin et al., 2023) 그런 다음 clustering algorithm으로 그들을 묶는다(Petukhova et al., 2025). 이 algorithm들 가운데 k-means(MacQueen, 1967)는 여전히 어디에나 쓰이며, 각 centroid를 그에 배정된 점들의 평균으로 반복적으로 갱신한다. 효과적이기는 하지만 이 순수하게 수치적인 평균화는 원래 텍스트에 존재하는 맥락적 뉘앙스를 흐릴 수 있다(Reimers & Gurevych, 2019). 선행 연구는 대안적인 centroid 정의와 관련 목적함수를 탐구해 왔지만(Jain & Dubes, 1988; Bradley et al., 1996; Kaufman & Rousseeuw, 2008), 이 접근들은 여전히 벡터 공간에 묶여 있어 해석 가능성을 제한하고 centroid와 그 기저 문서 사이에 semantic drift를 유발할 수 있다. 이는 prototype을 사람이 해석할 수 있는 요약과 정렬시키는, 명시적으로 텍스트인 centroid를 동기 짓는다.
Our proposal. 우리는 k-means에 대한 단순한 수정을 소개한다. 즉 수치적 centroid 갱신을 주기적으로 summarization step으로 대체하는 것이다. 매 iteration마다 embedding을 평균 내는 대신, 우리는 간격을 둔 iteration에서 각 cluster를 요약하는 텍스트 prototype을 계산하고 이를 같은 encoder로 re-embedding하여 배정에 사용되는 centroid를 얻는다. 이 summary-as-centroid 갱신은 표준 k-means 루프 안에 그대로 머물면서도 더 풍부한 맥락적 의미를 포착한다. 수치적 갱신과 요약 기반 갱신을 번갈아 수행하면 더 해석 가능하고 종종 의미적으로도 더 일관된 cluster가 얻어진다. Figure 1은 우리의 제안을 예시하며, 단 한 번의 summarization step만으로도 k-means를 질적으로 개선된 해로 유도할 수 있음을 보여준다.
우리의 목표는 모든 clustering algorithm을 엄격히 압도하는 것이 아니라, (i) 표준 k-means 계열 방법보다 clustering 품질을 개선하고, (ii) 사람이 읽을 수 있는 centroid를 만들어 내며, (iii) 제한된 LLM 사용으로 대규모 및 streaming 데이터셋으로 확장되는 단순하고 새로운 접근을 제공하는 것이다.
Summarization step. 우리는 두 부류의 summarizer를 고려한다. (1) centroid 기반 요약, TextRank 같은 graph 기반 방법, LSA 계열 기법과 같은 고전 NLP(Radev et al., 2004; Mihalcea & Tarau, 2004; Deerwester et al., 1990)로, 이들은 빠르고 결정론적이다(k-NLPmeans를 산출). (2) 더 풍부한 맥락을 포착하고 부차적이거나 noisy한 내용을 걸러 낼 수 있는 LLM 기반 요약(Zhang et al., 2020a; Raffel et al., 2020; Jia & Diaz-Rodriguez, 2025)이다(k-LLMmeans를 산출). 두 변형 모두 요약은 예정된 iteration에서만 다시 계산되므로, 이 algorithm들은 동일한 summary-as-centroid 메커니즘을 공유하며 오직 summarizer에서만 차이가 난다. (1)과 (2)의 방법 자체는 요약 분야에서 표준적이지만, k-means 루프 안에서 요약에서 유도된 centroid를 주기적으로 사용하는 것은 우리가 아는 한 새로운 것이며 이 방법의 해석 가능성에 핵심적이다.
Interpretability and scalability. 각 summarization step은 진화하는 cluster 의미를 드러내는 간결하고 사람이 읽을 수 있는 centroid를 만들어 내어 디버깅, 검증, 라벨링을 단순화한다. summarizer는 모듈식이다. 즉 LLM이 없을 수도 있고(k-NLPmeans) 데이터셋 크기에 따라 증가하지 않는 고정된 iteration당 예산 아래 LLM의 도움을 받을 수도 있다(k-LLMmeans). 대규모 및 streaming 환경을 위해 우리는 mini-batch k-means(Sculley, 2010)의 mini-batch 갱신 규칙에 summarization step을 삽입하도록 적응시켜, 해석 가능성을 유지하면서 효율적인 온라인 clustering을 가능하게 한다.
Relation to existing LLM-based clustering. 최근 연구들은 LLM이 강력한 비지도 clustering을 제공할 수 있음을 보여준다(Zhang et al., 2023; Feng et al., 2024; De Raedt et al., 2023; Viswanathan et al., 2024; Shi & Sakai, 2023; Tarekegn et al., 2024; Nakshatri et al., 2023). 그러나 많은 파이프라인은 두 가지 실질적 문제에 직면한다. (i) 확장성으로, 이들은 준지도, 반복적 라벨링, 또는 데이터셋 크기에 따라 증가하는 LLM 호출 수에 의존할 수 있다. (ii) 불투명한 최적화로, 이들은 명시적인 목적함수 없이 prompt, greedy merge, 유사도 임계값을 결합하는 경우가 많아 수렴 거동을 분석하기 어렵다. 우리의 k-LLMmeans는 둘 다를 다룬다. 간격을 둔 iteration에서 cluster별로 요약함으로써 LLM 사용을 데이터셋 크기와 독립적으로 제한하고, 배정과 수치적 갱신을 embedding 공간에 유지함으로써 요약 단계 사이에 표준 k-means 목적함수를 보존한다. k-NLPmeans와 k-LLMmeans 모두에서 요약이 부실하더라도 절차는 차선의 초기화를 가진 vanilla k-means로 우아하게 퇴화하며 표준적인 국소 수렴 거동을 유지한다. 우리의 방법이 LLM-optional이라는 점에 유의하라. k-NLPmeans는 summarizer를 고전적 NLP 기법으로 대체하여 LLM 사용이 전혀 없다.
Contributions. 요약하면 우리는 (i) numeric centroid를 같은 encoder로 re-embedding된 텍스트 prototype으로 주기적으로 대체하는 k-means의 summary-as-centroid 변형인 k-NLPmeans와 k-LLMmeans를 제안한다. 이는 LLM-optional 설계로 구성상 요약 단계 사이에 표준 k-means 목적함수를 보존하며, 해석 가능성은 사람이 읽을 수 있는 centroid와 투명한 중간 출력으로부터 따라 나온다. (ii) 스트림의 효율적인 온라인 clustering을 위해 이 접근을 mini-batch k-means로 확장한다. (iii) 데이터셋, embedding, summarizer 전반에 걸친 포괄적인 실증 연구를 제시하여, 고전적 baseline 대비 일관된 이득과 데이터셋 크기에 독립적인 LLM 예산 아래에서 최근 LLM 기반 clustering과의 경쟁력을 보인다. (iv) 순차적 텍스트 스트림에 대한 사례 연구를 제공하고 streaming text clustering을 평가하기 위한 StackExchange 기반 벤치마크를 공개한다.
2 Preliminaries: k-means for Text Clustering
- n개의 텍스트 문서로 이루어진 코퍼스 D = {d1, ⋯ dn}이 주어지고, 각 문서 di는 d차원 embedding 벡터 xi ∈ R^d로 표현된다. xi = Embedding(di).
- k-means의 목표는 이 n개의 문서 embedding을 k개의 cluster로 분할하여 cluster 내 분산을 최소화하는 것이다 … (1). 여기서 Cj는 cluster j에 배정된 embedding의 집합, [Cj] = {i | xi ∈ Cj}는 그 인덱스 집합, µj는 배정된 embedding의 평균으로 계산되는 cluster centroid다 … (2).
- k-means의 표준 휴리스틱인 Lloyd's algorithm(Lloyd, 1982)은 각 문서 embedding xi를 가장 가까운 centroid에 배정하는 단계와 각 centroid를 배정된 점들의 평균으로 다시 계산하는 단계를 번갈아 수행한다. 이 두 단계를 T번 반복하면 cluster 내 제곱거리 합이 단조적으로 줄어든다.
- 그러나 초기화에 민감하고 목적함수가 비볼록이므로 k-means는 전역 최적으로의 수렴을 보장하지 않고 국소 최적에 갇힐 수 있다(MacQueen, 1967; Lloyd, 1982). k-means++ 초기화와 다중 재시작 같은 여러 전략이 이를 완화하기 위해 제안되었다(Arthur & Vassilvitskii, 2006).
[Translated by Claude]
n개의 텍스트 문서로 이루어진 코퍼스 D = {d1, ⋯ dn}이 주어졌다고 하자. 각 문서 di는 다음과 같이 d차원 embedding 벡터 xi ∈ R^d로 표현된다.
xi = Embedding(di).
k-means clustering의 목표는 이 n개의 문서 embedding을 k개의 cluster로 분할하여 cluster 내 분산을 최소화하는 것이다. 형식적으로 우리는 clustering 목적함수를 다음과 같이 정의한다.
min over C1, C2, …, Ck of Σ_{j=1..k} Σ_{i∈[Cj]} ‖xi − µj‖² … (1)
여기서 Cj는 cluster j에 배정된 embedding의 집합을 나타내고, [Cj] = {i | xi ∈ Cj}는 cluster j에 배정된 embedding 인덱스의 집합을 나타내며, µj는 배정된 embedding의 평균으로 계산되는 cluster centroid다.
µj = (1/|Cj|) Σ_{i∈[Cj]} xi … (2)
k-means의 표준 휴리스틱인 Lloyd's algorithm(Lloyd, 1982)은 각 문서 embedding xi를 그와 가장 가까운 centroid에 배정하는 것과 각 centroid를 그에 배정된 점들의 평균으로 다시 계산하는 것을 번갈아 수행한다. 이 두 단계를 T번의 iteration 동안 반복하면 cluster 내 제곱거리의 합이 단조적으로 줄어들어, 절차를 (국소적으로) 최적인 centroid 집합 쪽으로 이끈다. 그러나 초기화에 대한 민감성과 목적함수의 비볼록한 성질 때문에 k-means는 전역 최적으로의 수렴을 보장하지 않으며 대신 국소 최적에 갇힐 수 있다(MacQueen, 1967; Lloyd, 1982). k-means++ 초기화와 다중 재시작 같은 여러 전략이 이런 문제를 완화하고 더 나은 clustering 결과를 얻을 가능성을 높이기 위해 제안되어 왔다(Arthur & Vassilvitskii, 2006).
3 k-means with Summarization Steps
- 우리는 수치적 centroid 갱신을 주기적으로 텍스트 요약 기반 centroid를 산출하는 summarization step으로 대체함으로써 text clustering을 위한 k-means를 강화한다.
- 이 절차(Appendix D의 Algorithm 1)는 매 l번의 iteration마다 식 2의 평균 갱신이 cluster 텍스트 요약의 embedding으로 대체된다는 점을 제외하면 k-means algorithm과 동일하며, 그 외의 모든 iteration에서는 표준 갱신이 사용된다.
- summarizer는 고전적이고 결정론적인 방법(k-NLPmeans)으로도, LLM 기반 요약(k-LLMmeans)으로도 인스턴스화할 수 있으며, 우리가 논의하는 특정 기법에 국한되지 않고 어떤 텍스트 요약 연산자든 대입할 수 있다.
[Translated by Claude]
우리는 수치적 centroid 갱신을 텍스트 요약 기반 centroid를 산출하는 summarization step으로 주기적으로 대체함으로써 text clustering을 위한 k-means를 강화한다. 이 절차(Appendix D의 Algorithm 1)는 매 l번의 iteration마다 식 2의 평균 갱신이 cluster 텍스트 요약의 embedding으로 대체된다는 점을 제외하면 k-means algorithm과 동일하다. 그 외의 모든 iteration에서는 표준 갱신이 사용된다(하나의 summarization step을 가진 예시는 Figure 1을 보라). summarizer는 고전적이고 결정론적인 방법(k-NLPmeans)으로도, LLM 기반 요약(k-LLMmeans)으로도 인스턴스화할 수 있으며, 우리가 논의하는 특정 기법에 국한되지 않아 어떤 텍스트 요약 연산자든 대입해 넣을 수 있다.
3.1 k-NLPmeans
- 첫 번째 변형은 표준 centroid 갱신을 대신하여 텍스트 prototype을 계산하기 위해 고전적인 추출 요약을 사용한다. 형식적으로 식 2를 µj = Embedding(f_NLP^(q)(Sj))로 대체한다 … (3). 여기서 Sj는 cluster j에 배정된 모든 문서를 토큰화하여 얻은 문장들의 모음(multiset)이다.
- 별도의 언급이 없는 한 문장-문장 유사도는 문서에 사용한 것과 같은 encoder가 만든 문장 embedding 사이의 cosine similarity로 계산된다. 연산자 f_NLP^(q)는 q개 문장으로 이루어진 짧은 요약을 반환한다.
- 대표적인 인스턴스는 (1) Centroid 기반 요약(Radev et al., 2004), (2) Graph 기반(TextRank)(Mihalcea & Tarau, 2004), (3) embedding 공간에서의 LSA 방식 SVD(Deerwester et al., 1990)다.
- 결과로 얻어진 요약 텍스트 f_NLP^(q)(Sj)는 문서와 같은 벡터 공간에 embedding되어 새로운 centroid µj가 된다.
[Translated by Claude]
우리의 첫 번째 변형은 표준 centroid 갱신을 대신하여 텍스트 prototype을 계산하기 위해 고전적인 추출 요약을 사용한다. 형식적으로 우리는 식 2를 다음으로 대체한다.
µj = Embedding( f_NLP^(q)(Sj) ) … (3)
여기서 Sj는 cluster j에 배정된 모든 문서를 토큰화하여 얻은 문장들의 모음(multiset)이다. 별도로 언급하지 않는 한 문장-문장 유사도는 문서에 사용된 것과 같은 encoder가 생성한 문장 embedding 사이의 cosine similarity로 계산된다. 연산자 f_NLP^(q)는 q개 문장의 짧은 요약을 반환하며, 전형적인 인스턴스는 다음을 포함한다.
- Centroid 기반 요약(Radev et al., 2004): Sj에 대한 문장 embedding의 centroid를 계산하고, 이 centroid에 대한 cosine similarity로 문장의 순위를 매긴 뒤, 상위 q개 문장을 (순위 순으로) 이어 붙여 f_NLP^(q)(Sj)를 형성한다.
- Graph 기반(TextRank)(Mihalcea & Tarau, 2004): Sj 안의 문장을 node로 하고 그 embedding의 쌍별 cosine similarity를 edge 가중치로 하는 graph를 만들고, PageRank 방식의 algorithm을 실행해 문장에 점수를 매긴 뒤, 상위 q개를 선택해 이어 붙인다.
- embedding 공간에서의 LSA 방식 SVD(Deerwester et al., 1990): Sj에 대한 문장 embedding을 쌓고, 특이값 분해를 적용하여, 주요 성분에 대한 기여도로 문장에 점수를 매긴 뒤 상위 q개를 이어 붙인다.
그 결과로 얻어진 요약 텍스트 f_NLP^(q)(Sj)는 그런 다음 문서와 같은 벡터 공간에 embedding되어 새로운 centroid µj를 산출한다.
3.2 k-LLMmeans
- 대신 LLM으로 요약을 생성하면 k-LLMmeans가 된다. 형식적으로 식 2를 µj = Embedding(f_LLM(pj))로 대체한다 … (4). 여기서 pj = Prompt(I, {dzi | zi ∼ [Cj]}_{i=1..mj})이고 mj = min(m, |Cj|)다.
- zi ∼ [Cj]는 cluster Cj에 배정된 embedding의 (중복 없이) 샘플링된 인덱스를 뜻하고, m은 cluster centroid µj를 계산하는 데 사용되는 샘플 인덱스의 최대 개수를 나타내는 parameter다.
- 즉 요약 지시 I와 cluster로부터의 대표 샘플 문서를 담은 prompt로 질의했을 때 LLM이 생성한 응답의 embedding으로 cluster의 centroid를 갱신한다. prompt 길이 제한 때문에 cluster 전체 대신 대표 샘플을 사용하며, 샘플은 cluster embedding에 대한 k-means++ 샘플링으로 선택한다.
- 지시 I는 clustering 태스크에 따라 달라지지만 표준적인 요약 prompt로 대체로 충분하다.
[Translated by Claude]
대신 우리가 LLM으로 요약을 생성하면 k-LLMmeans를 얻는다. 형식적으로 우리는 식 2를 다음으로 대체한다.
µj = Embedding( f_LLM(pj) ) … (4)
pj = Prompt( I, {dzi | zi ∼ [Cj]}_{i=1..mj} ), mj = min(m, |Cj|)
여기서 zi ∼ [Cj]는 cluster Cj에 배정된 embedding의 (중복 없이) 샘플링된 인덱스를 나타내고, m은 cluster centroid µj를 계산하는 데 사용되는 샘플 인덱스의 최대 개수를 나타내는 parameter다. 간단히 말해 우리는 요약 지시 I와 cluster로부터의 대표적인 샘플 문서를 담은 prompt로 질의했을 때 LLM이 생성한 응답의 embedding을 사용하여 cluster의 centroid를 갱신한다. cluster 안의 모든 문서를 입력으로 제공하는 대신 LLM은 대표 샘플을 context prompt로 처리한다. cluster 전체를 포함시키는 것이 이론적으로는 가능하지만 prompt 길이 제한 때문에 실질적인 난제가 있다. 따라서 우리는 cluster embedding에 대한 k-means++ 샘플링을 사용해 샘플 cluster 문서를 선택할 것을 제안한다. 우리의 실험은 이 샘플링 과정이 cluster 내용의 더 효과적인 종합을 촉진하여 더 나은 요약으로 이어지고, 결과적으로 더 정제된 centroid 갱신으로 이어짐을 입증한다. 지시 I는 clustering 태스크에 따라 달라지지만 표준적인 요약 prompt로 대체로 충분하다. Figure 1은 단 한 번의 summarization step을 가진 k-LLMmeans가 표준 k-means algorithm을 어떻게 향상시키는지 예시한다.
3.3 Advantages of Our Approaches
- k-means 대비: 주기적인 summarization step은 탐색 궤적을 바꾸고 초기화에 대한 민감도를 낮출 수 있는 semantic prototype 갱신으로 작용한다. Euclidean 평균에만 의존하는 대신 텍스트 요약이 문서 속 맥락 단서를 포착하고, 이 요약을 re-embedding하면 cluster 의미를 더 잘 반영하는 centroid가 얻어진다.
- 고급 LLM 기반 clustering 방법 대비 세 가지 이점이 있다. (1) Optimization landscape: 표준 k-means 목적함수에 근거하므로 취약한 휴리스틱에 의존하지 않고 algorithm적 수렴을 물려받는다.
- (2) Scalability: LLM 사용 복잡도가 샘플 크기에 따라 증가하거나 fine-tuning을 요구하는 대부분의 최신 방법과 달리, k-NLPmeans는 LLM 호출이 필요 없고 k-LLMmeans는 summarization step당 k번의 LLM 호출만 수행한다.
- (3) Interpretability: numeric centroid를 텍스트 요약으로 대체하면 각 prototype이 간결하고 사람이 읽을 수 있는 개요가 되어, 사후 라벨링 없이도 cluster 의미의 시간적 변화를 추적할 수 있다.
[Translated by Claude]
Over k-means. 주기적인 summarization step은 탐색 궤적을 재조정하고 초기화에 대한 민감도를 줄일 수 있는 semantic prototype 갱신으로 작용한다. Euclidean 평균에만 의존하는 대신 텍스트 요약은 기저 문서에 존재하는 맥락 단서를 포착하며, 이 요약을 re-embedding하면 cluster 의미를 더 잘 반영하는 centroid가 얻어진다. 실제로 요약 기반 centroid는 k-means++ seeding이 차선일 때조차 더 해석 가능하고 종종 의미적으로 더 일관된 분할을 만들어 낸다. 요약 단계를 제외하면 절차는 표준 k-means를 따른다. 배정과 수치적 갱신은 변하지 않으며 통상의 목적함수는 요약 iteration 사이에 보존된다. 5.1절은 우리의 방법이 다양한 설정 전반에서 vanilla k-means를 자주 능가함을 보여준다.
Over advanced LLM-based clustering methods. 우리의 접근은 더 복잡한 LLM 기반 clustering 방법에 비해 세 가지 핵심 이점을 제공한다. (1) Optimization landscape. 표준 k-means 목적함수에 근거를 두므로 우리는 최신 LLM 주도 방법에서 흔한 취약한 휴리스틱에 의존하지 않고 algorithm적 수렴을 물려받는다. 부실한 요약은 단지 절차를 통상적인 k-means 국소 최적 쪽으로 되돌릴 뿐인 반면, 경쟁 접근법들은 안정적이고 형식에 특화된 LLM 출력에 의존한다. (2) Scalability. LLM 사용 복잡도가 샘플 크기에 따라 증가하거나(Feng et al., 2024; De Raedt et al., 2023) fine-tuning을 요구하는(Zhang et al., 2023) 대부분의 최신 방법과 달리, k-NLPmeans는 LLM 호출을 전혀 필요로 하지 않고 k-LLMmeans는 summarization step당 k번의 LLM 호출만 수행하며, 적은 수의 summarization step만으로도 상당한 성능 향상을 낳는다(5.1절 참고). (3) Interpretability. numeric centroid를 텍스트 요약으로 대체하면 각 prototype이 간결하고 사람이 읽을 수 있는 개요가 된다. 실무자는 사후 라벨링 없이도 cluster 의미가 시간에 따라 어떻게 진화하는지 추적할 수 있다. 이 투명성은 우리의 mini-batch 변형으로 자연스럽게 확장되어 streaming 시나리오에서 실시간 모니터링을 가능하게 한다(Figure 2와 5.1절 참고).
4 Mini-batch k-NLPmeans and k-LLMmeans
- Mini-batch k-means(Sculley, 2010)는 전체 데이터셋 대신 작고 무작위로 샘플링된 mini-batch를 처리하는 대규모 text clustering용 효율 전략으로, 메모리 사용량과 계산 비용을 크게 줄여 소셜 미디어, 뉴스, 고객 피드백처럼 지속적으로 생성되는 텍스트 스트림에 적합하다.
- LLM에 의존하지 않는 streaming clustering 방법은 다수 연구되었지만 LLM을 결합한 것은 소수뿐이며, 기존 오프라인 LLM 기반 clustering 접근은 확장성 문제에 직면한다.
- 이에 우리는 mini-batch 갱신에 summarization step을 삽입하여 mini-batch k-means를 직접 확장하는 mini-batch k-NLPmeans와 k-LLMmeans를 도입한다.
- Algorithm 2는 b개의 문서 batch D1, …, Db를 순차적으로 받아 각 batch를 k-NLPmeans/k-LLMmeans로 처리하고, mini-batch k-means와 같은 가중 규칙으로 centroid를 점진적으로 갱신하는 방식을 상술한다. 이 algorithm은 낮은 메모리와 없거나 낮은 LLM 사용이라는 mini-batch k-means의 바람직한 성질을 보존한다.
[Translated by Claude]
Mini-batch k-means(Sculley, 2010)는 전체 데이터셋 대신 작고 무작위로 샘플링된 mini-batch를 처리하는, 대규모 text clustering을 위한 효율적인 전략이다. 이 접근은 메모리 사용량과 계산 비용을 실질적으로 줄여 주어, 소셜 미디어, 뉴스, 고객 피드백에서 나오는 것과 같이 지속적으로 생성되는 텍스트 스트림, 즉 데이터셋 전체에 접근하지 않고 점진적으로 clustering해야 하는 경우에 잘 맞는다. Mini-batch k-means는 표준 k-means에 필적하는 수렴 성질을 보이면서 더 우수한 확장성을 제공한다.
LLM에 의존하지 않는 수많은 streaming clustering 방법이 연구되어 왔지만(Silva et al., 2013; Aggarwal, 2018; Ribeiro et al., 2017; Aggarwal et al., 2003; Ackermann et al., 2012; Ordonez, 2003), LLM을 결합한 것은 소수에 불과하다(Tarekegn et al., 2024; Nakshatri et al., 2023). 더욱이 기존의 오프라인 LLM 기반 clustering 접근법들은 확장성 문제에 직면하며, 이는 온라인 환경에서 확장 가능한 요약 기반 clustering의 필요성을 부각한다. 이를 다루기 위해 우리는 mini-batch 갱신에 summarization step을 삽입함으로써 mini-batch k-means를 직접 확장하는 mini-batch k-NLPmeans와 k-LLMmeans를 도입한다.
Algorithm 2는 우리의 접근법이 b개의 문서 batch D1, …, Db를 순차적으로 받는 방식을 상술하는데, 각 batch는 문서의 집합을 담는다(이 batch들은 큰 코퍼스로부터의 무작위 샘플일 수도 있고 순차적 데이터를 나타낼 수도 있다). 이는 각 batch를 k-NLPmeans/k-LLMmeans로 순차 처리하고 mini-batch k-means와 같은 가중 규칙을 사용해 centroid를 점진적으로 갱신한다. 우리의 algorithm은 낮은 메모리와 없거나 낮은 LLM 사용이라는 mini-batch k-means의 바람직한 성질을 보존한다. 6절은 이것이 시뮬레이션에서도 더 나은 성능을 보임을 보여준다.
5 Static Experiments
- 다양한 도메인과 분류 세분성을 아우르는 네 개의 벤치마크 데이터셋 Bank77, CLINC, GoEmo, MASSIVE(domain과 intent)를 사용하며, 알려진 cluster 수와 120번의 centroid 갱신 iteration으로 평가한다.
- summarization step 수가 다른 두 변형을 계산한다. single 변형은 한 번의 summarization step(l = 60)을, multiple 변형은 다섯 번의 summarization step(l = 20)을 수행한다.
- embedding은 DistilBERT, e5-large, S-BERT, text-embedding-3-small로 계산하고, k-NLPmeans는 TextRank·Centroid·LSA를 q = 5로, k-LLMmeans의 LLM은 GPT-3.5-turbo, GPT-4o, Llama-3.3, Claude-3.7, DeepSeek-V3를 사용한다. prompt 크기의 효과를 보기 위해 cluster 전체 문서를 입력으로 쓰는 방식과 m = 10개 문서만 포함하는 few-shot(FS) 변형을 함께 살펴본다.
- 전통적 baseline으로는 k-means, k-medoids, spectral clustering, agglomerative clustering, GMM을 쓰고, BERTopic도 포함한다. 고급 LLM 기반 방법으로는 ClusterLLM, IDAS, LLMEdgeRefine의 결과와 비교한다.
- 성능은 clustering accuracy(ACC)와 Normalized Mutual Information(NMI)로 평가한다.
[Translated by Claude]
우리는 다양한 도메인과 분류 세분성을 아우르는 네 개의 벤치마크 데이터셋, 즉 Bank77(Casanueva et al., 2020), CLINC(Larson et al., 2019), GoEmo(Demszky et al., 2020), MASSIVE(domain과 intent)(FitzGerald et al., 2023)를 사용한다. 데이터셋에 대한 상세한 설명은 Appendix A.1을 보라. 우리는 알려진 cluster 수를 사용하고 120번의 centroid 갱신 iteration을 수행하여 네 데이터셋 각각에서 우리의 algorithm을 평가한다. 우리는 summarization step의 수가 다른 우리 algorithm의 두 변형을 계산한다. single 변형은 한 번의 summarization step(l = 60)을 사용하고, multiple 변형은 다섯 번의 summarization step(l = 20)을 수행한다. 우리 접근의 robustness를 입증하기 위해 embedding은 DistilBERT(Sanh, 2019), e5-large(Wang et al., 2022), S-BERT(Reimers & Gurevych, 2019), text-embedding-3-small(OpenAI, 2024) 모델로 계산한다. k-NLPmeans에 대해서는 3.1절에서 언급한 TextRank, Centroid, LSA 요약 방법을 q = 5로 하여 평가한다. k-LLMmeans의 LLM 구성 요소로는 GPT-3.5-turbo(OpenAI, 2023), GPT-4o(Hurst et al., 2024), Llama-3.3(Grattafiori et al., 2024), Claude-3.7(Anthropic, 2025), DeepSeek-V3(Liu et al., 2024)를 사용한다. 지시 태스크 I에는 태스크에 따라 달라지는 단순한 요약 prompt를 사용한다. 예를 들어 Bank77에는 “The following is a cluster of online banking questions. Write a single question that represents the cluster concisely.”라는 prompt를 사용한다. 우리는 cluster의 모든 문서를 입력으로 사용해 요약하는 방식과, 각 prompt에 cluster 전체 대신 무작위로 선택된 m = 10개의 문서만 포함하는 few-shot(FS) 변형을 통해 prompt 크기의 효과를 탐구한다. 각 설정마다 다섯 개의 서로 다른 seed로 실행한다.
전통적인 clustering baseline으로 우리는 k-means, k-medoids(Kaufman & Rousseeuw, 2008), spectral clustering(Ng et al., 2001), agglomerative clustering(Johnson, 1967), Gaussian Mixture Model(GMM)(Dempster et al., 1977)을 고려한다. 우리는 ground-truth cluster 수와 열 개의 서로 다른 seed를 사용한다. 또한 강력한 topic modeling baseline으로 BERTopic(Grootendorst, 2022)을 포함한다. 여기에 더해 우리는 제안한 방법을 BERTopic이 생성한 문서 embedding에 적용하여 얻은 결과를 보고한다. 고급 LLM 기반 방법에 대해서는 ClusterLLM(Zhang et al., 2023), IDAS(De Raedt et al., 2023), LLMEdgeRefine(Feng et al., 2024)에 대해 Feng et al. (2024)가 얻은 결과와 비교한다. k-means 기반 방법은 모두 k-means++로 초기화된다.
우리는 예측된 cluster와 gold label 사이의 최적 일대일 정렬을 측정하는 clustering accuracy(ACC)와, 그들 사이의 상호정보량을 [0, 1]로 정규화한 Normalized Mutual Information(NMI)을 사용해 성능을 평가한다(지표에 대한 상세는 Appendix C를 보라). 이제 결과의 요약을 제시한다.
5.1 Results with Static Data
- 요약 변형과 전통적 clustering 방법 비교: Table 1은 text-embedding-3-small embedding을 사용해 네 데이터셋에서 여러 k-NLPmeans·k-LLMmeans 변형(LLM: GPT-4o)의 평균 ACC와 NMI를 보고한다. 모든 데이터셋에서 우리 방법은 NMI에서 전통적 baseline을 능가하고 대체로 더 높은 ACC를 달성한다.
- k-NLPmeans 내부의 차이는 크지 않으며 추출 요약 중에서는 LSA가 전반적으로 가장 좋다. k-LLMmeans가 가장 강한 결과를 내며 흥미롭게도 few-shot 변형이 더 좋은 성능을 보인다. multiple summarization step은 single보다 추가 이득을 주는 경향이 있다.
- 서로 다른 embedding에서의 비교: Table 2에서 모든 embedding에 걸쳐 우리 접근은 k-means보다 높은 평균 ACC와 NMI를 달성하면서 더 작은 평균 dist 값을 만들어 내며, k-LLMmeans가 최고다.
- 서로 다른 LLM 및 최신 LLM 기반 방법과의 비교: Table 3에서 k-LLMmeans는 LLM을 바꿔도 안정적인 성능을 보이고, GPT-3.5 구성은 훨씬 적은 LLM 호출과 fine-tuning 없이 비슷하거나 약간 낮은 ACC/NMI를 달성한다. k-NLPmeans는 LLM 호출이 0이면서도 경쟁력을 유지한다.
- 정적 실험 결과 요약: 우리 방법은 (i) 고전적·topic modeling baseline을 개선하고(Table 1), (ii) embedding 전반에서 k-means를 능가하며(Table 2), (iii) 훨씬 낮은 LLM 비용으로 강력한 LLM 기반 clustering 방법에 근접한다(Table 3).
[Translated by Claude]
Comparing summarization variants and traditional clustering methods. Table 1은 text-embedding-3-small embedding을 사용해 네 데이터셋에서 여러 k-NLPmeans 및 k-LLMmeans 변형(LLM: GPT-4o)의 평균 accuracy(ACC)와 normalized mutual information(NMI)을 보고한다.
모든 데이터셋에 걸쳐 우리의 방법은 NMI에서 전통적 baseline을 능가하며 대체로 더 높은 ACC를 달성한다. k-NLPmeans 내부에서는 차이가 크지 않으며, 추출 요약기 중에서는 LSA가 전반적으로 가장 좋은 점수를 낸다. k-LLMmeans는 가장 강력한 결과를 달성하는데, 이는 더 높은 품질의 추상 요약에 기인한다. 흥미롭게도 few-shot 변형이 더 나은 성능을 보인다. 여러 번의 summarization step은 한 번의 step보다 추가적인 이득을 주는 경향이 있다. 전반적으로 k-NLPmeans와 k-LLMmeans 모두 전통적인 algorithm을 개선하며, k-LLMmeans가 최고의 결과를 제공하면서도 효율적으로 남는다. few-shot 요약이 긴 prompt 길이를 필요로 하지 않고도 충분해 보이기 때문이다.
우리는 또한 BERTopic과 비교하고 우리의 방법을 그 문서 embedding에 적용한다. BERTopic은 그 자체로 강력하지만, 우리의 변형을 추가하면 그 성능이 일관되게 개선된다. 모든 데이터셋에 걸쳐 최고의 결과는 우리의 단독 방법이거나 그 BERTopic 기반 버전에서 나온다.
Comparing our approaches with k-means using different embeddings. Table 2는 세 개의 벤치마크 데이터셋에서 서로 다른 embedding으로 k-NLPmeans(LSA-multiple)와 k-LLMmeans(FS-multiple)를 k-means와 비교하며, 평균 ACC, 평균 NMI, 그리고 학습된 centroid와 ground-truth centroid 사이의 평균 Euclidean 거리(dist)를 보고한다. dist 지표는 각 algorithm이 실제 centroid를 얼마나 가깝게 복원하는지를 직접적으로 가늠하는데, 이는 centroid 기반 방법에 특히 의미 있는 기준이다. 시험한 모든 embedding에 걸쳐 우리의 접근법은 k-means보다 더 높은 평균 ACC와 NMI를 달성하면서 더 작은 평균 dist 값을 만들어 낸다. 흥미롭게도 k-LLMmeans가 최고로 자리하는데, 이는 LLM이 안내하는 centroid 갱신이 더 정확하면서 동시에 기저 cluster 구조에 더 충실하게 정렬된 해로 수렴함을 입증한다.
Comparing our approaches with different LLMs and state-of-the-art LLM-based clustering methods. Table 3은 e5-large embedding을 사용한 세 벤치마크에서 k-NLPmeans(LSA-multiple)와 k-LLMmeans(FS-multiple)의 LLM 호출 수(prompt)와 평균 ACC/NMI를 보고한다. k-LLMmeans에 대해서는 GPT-3.5를 포함해 LLM 생성기를 바꿔 가며 보았고, LLM 전반에서 안정적인 성능을 관찰하여 특정 모델에 대한 robustness를 나타낸다. 설계상 k-NLPmeans는 LLM 호출을 전혀 사용하지 않는다. 참고를 위해 우리는 Feng et al. (2024)의 결과도 포함한다. ClusterLLM(fine-tuned)과 IDAS는 같은 e5-large embedding으로 GPT-3.5를 사용하고, LLMEdgeRefine은 더 강한 Instructor embedding(Jin et al., 2023)을 사용한다. k-LLMmeans의 GPT-3.5 구성은 비슷하거나 때로는 약간 낮은 ACC/NMI를 달성하지만, 훨씬 적은 LLM 호출(데이터셋 크기와 무관)과 fine-tuning 없이 그렇게 한다. k-NLPmeans는 k-LLMmeans보다 약간 뒤처지지만 LLM 사용 없이도 경쟁력을 유지한다. 우리는 또한 BERTopic을 평가하고 우리의 변형을 그 embedding에 적용한다. 이 설정에서 우리의 방법은 없거나 소수의 LLM 호출만 요구하면서도 최고의 LLM 기반 모델에 극히 근접한 결과를 달성한다. 전반적으로 우리의 프레임워크는 유리한 품질-비용 trade-off를 제공한다. 즉 추론 비용이 0인 배포에는 k-NLPmeans를, 작고 고정된 요약 예산 아래 더 높은 정확도를 원할 때는 k-LLMmeans를 쓸 수 있다.
Additional results and experiments. 표준편차를 포함한 결과는 Appendix B.1의 Table 5, 6, 7에 보고되어 있다. 우리는 또한 Appendix B.2.1에서 cluster 수 k의 선택에 대한 민감도를 평가한다. Table 9는 cluster 수가 ground truth cluster와 완만하게 다를 때의 robustness를 보여주며, 일관되게 vanilla k-means보다 낫다. 우리는 또한 Appendix B.2.2에서 k-LLMmeans의 지시 prompt I와 k-NLPmeans의 parameter q에 대한 민감도를 평가한다. Table 10에서 보듯 성능은 prompt 선택과 q 값 전반에서 대체로 안정적으로 유지된다. Appendix B.2.3의 Table 11은 또한 k-LLMmeans의 few-shot(FS) 버전에 대한 여러 샘플링 전략을 비교하며, 우리의 k-means++ 전략이 일관된 성능을 가짐을 보여준다.
Summary of static experimental results. 우리의 실험 전반에서 우리의 방법은 (i) 고전적 baseline과 topic modeling baseline을 개선하고(Table 1), (ii) embedding 전반에서 k-means를 능가하며(Table 2), (iii) 훨씬 낮은 LLM 비용으로 강력한 LLM 기반 clustering 방법에 근접한다(Table 3).
6 Sequential (mini-batch) Experiments
- 35개 StackExchange 사이트의 2020년부터 2023년까지의 연간 게시물을 사용한다. 각 게시물에는 사이트 label(domain)과 timestamp가 붙어 있어 온라인 또는 순차 clustering 방법을 평가하기에 적합하다.
- 각 연도별 부분집합을 시간순으로 b = ⌈n/10000⌉개의 동일 크기 batch D1, …, Db로 나눈다. 여기서 n은 해당 연도의 문서 수다.
- 5절에서 기술한 네 변형으로 mini-batch k-LLMmeans algorithm을 실행한다(실용적 이유로 전체 cluster 변형에는 m = 50으로 설정).
- baseline은 세 가지다. 표준 무작위 샘플링을 쓰는 mini-batch k-means, b개의 시간순 batch를 쓰는 sequential mini-batch k-means, 전체 데이터셋에 대한 표준 k-means다. ground-truth cluster, embedding은 text-embedding-3-small, 요약 단계는 GPT-4o, seed는 다섯 개를 사용한다.
[Translated by Claude]
우리는 35개 StackExchange 사이트의 2020년부터 2023년까지의 연간 게시물을 사용한다(StackExchange, 2024). 각 게시물에는 사이트 label(domain)과 timestamp가 함께 붙어 있어, 이 데이터셋은 온라인 또는 순차 clustering 방법을 평가하기에 잘 맞는다. 우리는 이 데이터셋을 우리의 제출물과 함께 공개한다(상세는 Appendix A.2 참고). 각 연도별 부분집합에 대해 우리는 데이터를 시간순으로 b = ⌈n/10000⌉개의 동일 크기 batch D1, …, Db로 나누며, 여기서 n은 해당 연도의 문서 수다. 우리는 5절에서 기술한 네 가지 변형으로 mini-batch k-LLMmeans algorithm을 실행한다(실용적인 이유로 전체 cluster 변형에는 m = 50으로 설정한다). 우리는 세 가지 baseline과 비교한다. 표준 무작위 샘플링을 사용하는 mini-batch k-means, b개의 시간순 batch를 사용하는 sequential mini-batch k-means, 그리고 전체 데이터셋에 대한 표준 k-means다. 우리는 ground-truth cluster를 사용하고, embedding에는 text-embedding-3-small을, 요약 단계에는 GPT-4o를, 그리고 다섯 개의 서로 다른 seed를 사용한다.
6.1 Results with Streaming Data
- Table 4는 연간 StackExchange 코퍼스에서 mini-batch k-NLPmeans(LSA-multiple)와 mini-batch k-LLMmeans 변형을 표준 k-means, mini-batch k-means, sequential mini-batch k-means와 비교한 평균 ACC와 NMI를 보고한다.
- mini-batch k-LLMmeans 변형이 가장 높은 ACC와 NMI를 달성하여 baseline을 일관되게 능가하며, 전체 데이터셋 k-means까지 넘어선다.
- streaming 체제에서 작동하면서도 205,943개 게시물 전체 코퍼스를 3,850회 이하의 LLM 호출로 clustering하여 유리한 LLM 토큰당 정확도 trade-off를 보여준다. few-shot 요약 설계는 prompt를 짧게 유지하여 context window 제한을 우회하면서 cluster 품질을 보존한다.
- mini-batch k-NLPmeans도 모든 mini-batch baseline보다 개선되지만 k-LLMmeans 변형에는 뒤처지는데, 이는 추출 요약이 커뮤니티 게시물의 noise와 이질성에 더 민감하기 때문일 가능성이 높다.
[Translated by Claude]
Table 4는 연간 StackExchange 코퍼스에 대한 평균 ACC와 NMI를 보고하며, mini-batch k-NLPmeans(LSA-multiple)와 mini-batch k-LLMmeans 변형을 표준 k-means, mini-batch k-means, sequential mini-batch k-means와 비교한다. mini-batch k-LLMmeans 변형이 가장 높은 ACC와 NMI를 달성하여 baseline을 일관되게 능가하며, 전체 데이터셋 k-means까지 넘어선다. streaming 체제에서 작동함에도 불구하고 우리의 접근법은 205,943개 게시물로 이루어진 전체 코퍼스를 3,850회 이하의 LLM 호출로 clustering하여, LLM 토큰당 정확도라는 관점에서 유리한 trade-off를 입증한다. few-shot 요약 설계는 prompt를 짧게 유지하여 context window 제한을 비껴가면서도 cluster 품질을 보존한다. mini-batch k-NLPmeans 또한 모든 mini-batch baseline보다 개선되지만 k-LLMmeans 변형에는 뒤처지는데, 이는 그 추출 요약이 LLM이 생성한 centroid보다 커뮤니티 게시물의 noise와 이질성에 더 민감하기 때문일 가능성이 높다. 전반적으로 이 결과들은 우리의 해석 가능한 mini-batch 정식화가 강한 정확도와 제한된 LLM 사용으로 긴 순차 스트림에 확장됨을 부각한다.
표준편차를 포함한 결과는 Table 8(Appendix B.1)에 보고되어 있다.
7 Case Study
- 순차 데이터 안에서 cluster의 진화를 포착하는 우리 방법의 해석 가능성을 보이기 위해, 2021년 Stack Exchange 데이터셋의 AI 사이트 게시물을 사용한 사례 연구를 제시한다.
- 세 개의 동일 길이 batch와 총 10개의 cluster로 mini-batch k-LLMmeans를 적용하고, 지시로는 “The following is a cluster of questions from the AI community. Write a single question that represents the cluster”를 사용한다.
- 각 centroid가 잠재 벡터가 아니라 사람이 읽을 수 있는 요약이므로 주제 변화의 시간적 분석이 가능하다. Figure 2는 Image Model Optimization, AI Evolution and Challenges, Advanced NLP Techniques라는 세 주요 cluster에 대해 이를 보여준다.
- 2021년에 걸쳐 이 cluster들은 기초에서 대규모 통합 쪽으로 이동하며, 이는 도구, 모델, 배포 압력이 성숙해 간 과정을 반영한다.
[Translated by Claude]
순차 데이터 안에서 cluster의 진화를 포착하는 데 있어 우리 방법의 해석 가능성을 입증하기 위해, 우리는 2021년 Stack Exchange 데이터셋(StackExchange, 2024)의 AI 사이트 게시물을 사용한 사례 연구를 제시한다. 우리는 세 개의 동일 길이 batch와 총 10개의 cluster로 mini-batch k-LLMmeans algorithm을 적용한다. 지시로는 “The following is a cluster of questions from the AI community. Write a single question that represents the cluster”를 사용한다.
Interpretation. 각 centroid가 잠재 벡터가 아니라 사람이 읽을 수 있는 요약이므로, 우리의 해석 가능한 clustering은 주제 변화의 시간적 분석을 가능하게 한다. Figure 2는 Image Model Optimization, AI Evolution and Challenges, Advanced NLP Techniques라는 세 개의 주요 cluster에 대해 이를 보여준다. 2021년에 걸쳐 이 cluster들은 기초에서 대규모 통합 쪽으로 이동하며, 이는 도구, 모델, 배포 압력이 어떻게 성숙해 갔는지를 반영한다. Image Model Optimization은 주류 detector/segmenter를 둘러싼 robustness 불안(적대적 공격, 가림, 스케일)에서 시작해, 연중반에는 “이것을 어떻게 잘 구현하지?”(transfer learning, augmentation, 전처리)로 방향을 틀고, 강력한 사전학습 모델과 라이브러리가 설정을 일상적인 일로 만들고 병목을 데이터와 배포로 밀어내면서 production 강화(클래스 불균형, 특화된 loss, edge 효율)로 끝난다(Bochkovskiy et al., 2020; Kolesnikov et al., 2021). AI Evolution and Challenges는 역사적인 “AI는 무엇이 되어 가는가?”에서 대규모 생성/멀티모달 시스템에 대한 호기심으로 옮겨 가는데, 이는 아마도 CLIP/DALL·E 같은 공개 릴리스와 그 실패 양상에 의해 촉발되었을 것이며, 기업 채택과 정책적 관심이 커지면서 시스템 수준의 종합(neuro-symbolic 통합, RL 제어, 계산 효율, 안전성)으로 마무리된다(Radford et al., 2021; Ramesh et al., 2021; Nayak, 2021; OpenAI, 2021; European Commission, 2021). Advanced NLP Techniques는 transformer 붐을 추적한다. 초기 질문은 어떤 모델과 전처리를 쓸 것인가에 집중되고, 연중반에는 긴 문맥과 도메인 이동 문제가 부상하면서 BLEU를 넘어선 의미 측정(예: BERTScore, BLEURT)으로 관심이 옮겨 가며, 연말의 관심사는 제품 주도적인 것들, 즉 sequence 길이 제한, 도메인 어휘, 다국어/교차 모달 정렬로, 이는 산업에서 사전학습된 encoder/decoder가 빠르게 채택되었음을 반영한다(Brown et al., 2020; Zhang et al., 2020b; Sellam et al., 2020; Xue et al., 2021). 실용적으로 이런 궤적은 더 나은 게시물 범주화, 검색 가능성, 답변 라우팅, 트렌드 탐지를 뒷받침할 수 있다. 더 넓게는 우리의 mini-batch k-LLMmeans가 읽을 수 있는 centroid를 드러내어 순차적 텍스트 스트림에 대한 종단 간 해석 가능성을 가능하게 하고, 실무자가 주제 진화를 추적하고 원인을 귀속시키며 동적인 코퍼스에서 투명하고 시의적절한 결정을 내릴 수 있게 함을 보여준다.
8 Related Work
- Traditional clustering: 계층적 방법은 중첩된 문서 관계의 트리 구조 표현을 만들고, DBSCAN 같은 밀도 기반 접근과 graph 기반 방법은 임의 형태의 cluster를 탐지하며, spectral clustering은 고유분해를 활용한다.
- Gaussian mixture model과 최근의 신경망 프레임워크를 포함한 모델 기반 기법은 확률적 clustering 정식화를 제공하고, pLSA에서 LDA에 이르는 topic modeling 방법은 단어 동시출현 패턴과 잠재 주제를 포착한다. BERTopic은 embedding-축소-밀도 파이프라인을 제공하고, DeepCluster는 clustering으로 encoder를 자기지도 방식으로 반복 학습한다.
- LLM-based clustering: Viswanathan et al. (2024)은 문서 표현 증강, 유사 쌍 제약 생성, 낮은 신뢰도 배정의 사후 수정에 LLM을 사용하고, Zhang et al. (2023)의 ClusterLLM은 instruction-tuned LLM을 상호작용적 triplet·쌍 피드백으로 활용한다.
- Wang et al. (2023)은 자연어 설명으로 cluster 경계를 명확히 하는 목표 지향적·설명 가능 방법을 도입하고, De Raedt et al. (2023)은 추상 요약을 이용한 intent discovery인 IDAS를, Feng et al. (2024)은 super-point를 형성해 outlier를 완화하고 모호한 경계점을 재배정하는 LLMEdgeRefine을 제안한다.
[Translated by Claude]
Traditional clustering. 계층적 방법(Johnson, 1967; Blashfield & Aldenderfer, 1978)은 중첩된 문서 관계의 트리 구조 표현을 구축한다. DBSCAN(Ester et al., 1996) 같은 밀도 기반 접근법과 graph 기반 방법은 임의의 형태를 갖는 cluster를 탐지하며, spectral clustering(Ng et al., 2001)은 복잡한 구조를 밝히기 위해 고유분해를 활용한다. Gaussian mixture model(Dempster et al., 1977)과 최근의 신경망 프레임워크(Zhou et al., 2019; Huang et al., 2014; Yang et al., 2016; Zhang et al., 2021; Xie et al., 2016)를 포함한 모델 기반 기법은 확률적 clustering 정식화를 제공한다. 여기에 더해 확률적 잠재 의미 분석(Hofmann, 2001)에서 latent Dirichlet allocation(Blei et al., 2003)에 이르는 topic modeling 방법은 단어 동시출현 패턴과 잠재 주제를 포착한다. BERTopic(Grootendorst, 2022)은 해석 가능한 주제를 위한 embedding-축소-밀도 파이프라인을 제공하고, DeepCluster(Caron et al., 2018)는 clustering을 사용해 자기지도 방식으로 encoder를 반복적으로 학습한다(이는 embedding을 고정하는 우리의 설정과는 직교한다). Jia & Diaz-Rodriguez (2026)는 또한 고전적인 변화점 탐지 방법 안의 텍스트 분할에 현대적 embedding을 결합한다.
LLM-based clustering. Viswanathan et al. (2024)은 질의 효율적인 few-shot 준지도 clustering을 위해 문서 표현을 증강하고, 유사 쌍 제약을 생성하며, 신뢰도가 낮은 배정을 사후 수정하는 데 LLM을 사용한다. Zhang et al. (2023)은 ClusterLLM을 제안하는데, 이는 instruction-tuned LLM을 상호작용적 triplet 및 쌍별 피드백을 통해 사용하여 clustering 세분성을 비용 효율적으로 정제한다. 보완적인 접근법들(Tipirneni et al., 2024; Petukhova et al., 2025)은 맥락에서 유도된 표현이 전통적 embedding을 넘어서는 미묘한 의미적 뉘앙스를 포착함을 보인다. Wang et al. (2023)은 cluster 경계를 명확히 하기 위해 자연어 설명을 사용하는 목표 지향적이고 설명 가능한 방법을 도입하며, (De Raedt et al., 2023)은 추상 요약을 사용한 intent discovery를 위한 IDAS를 제시한다. Feng et al. (2024)은 LLMEdgeRefine을 제안하는데, 이는 super-point를 형성해 outlier를 완화하고 모호한 경계점을 재배정하는 반복적 메커니즘으로, 더 높은 일관성과 robustness를 갖는 cluster를 낳는다.
9 Discussion
- 우리는 k-means의 numeric centroid를 텍스트 요약으로 대체하여 확장성을 보존하면서 해석 가능한 prototype을 산출하는 k-NLPmeans와 k-LLMmeans를 제시했다. summary-as-centroid는 해석 가능성과 효율성을 통합하는 단순하지만 강력하고 새로운 수정이다.
- 텍스트를 넘어 summary-as-centroid는 numeric centroid를 re-embedding된 도메인 특화 prototype(예: 이미지 콜라주, 합성 발화, DNA consensus motif, 대표 subgraph)으로 대체함으로써 clustering을 바꾸지 않고도 해석 가능성을 유지하며 일반화될 수 있다.
- Limitations: k-LLMmeans는 LLM이 생성한 요약에 의존하므로 기저 모델의 편향이나 오류가 cluster prototype과 후속 분석으로 전파될 수 있다. few-shot 변형은 작은 대표 샘플이 cluster 구조를 포착한다고 가정하며, 이질적인 cluster에는 제약이 될 수 있다.
- Cost: k-NLPmeans는 LLM이 없고, k-LLMmeans는 summarization step마다 cluster당 한 번의 LLM 호출을 발생시킨다. GPT-4o와 text-embedding-3-small로 다섯 번의 요약 라운드를 수행한 정적 데이터셋 실행은 1달러 미만, 약 1분이 걸렸고 Stack Overflow 데이터셋은 2.5달러, 약 8분이 걸렸다.
[Translated by Claude]
우리는 k-means의 numeric centroid를 텍스트 요약으로 대체하여 확장성을 보존하면서 해석 가능한 prototype을 산출하는 k-NLPmeans와 k-LLMmeans를 제시했다. LLM이 없는 k-NLPmeans는 최소한의 추가 복잡성으로 경쟁력 있는 정확도를 달성한다. k-LLMmeans는 고정되고 iteration으로 한정된 LLM 예산 아래 cluster를 LLM 요약으로 증강하여, fine-tuning 없이 유리한 정확도-효율 trade-off를 제공한다. mini-batch 확장은 streaming 운용을 가능하게 한다. 전반적으로 summary-as-centroid는 해석 가능성과 효율성을 통합하고 k-means의 적용 범위를 현대적 텍스트 스트림으로 넓히는, 단순하지만 강력하고 새로운 수정이다. 텍스트를 넘어 summary-as-centroid는 numeric centroid를 re-embedding된 도메인 특화 prototype(예: 이미지 콜라주, 합성 발화, DNA consensus motif, 대표 subgraph)으로 대체함으로써 clustering 자체를 바꾸지 않고도 해석 가능성을 보존하며 일반화될 수 있다.
Limitations. 우리의 k-LLMmeans는 LLM이 생성한 요약에 의존한다. 따라서 기저 모델의 편향이나 오류가 cluster prototype과 후속 분석으로 전파될 수 있다. 단순한 지시 prompt가 효과적이기는 하지만(Appendix B.2) prompt 설계는 여전히 결과에 영향을 줄 수 있다. few-shot 변형은 작은 대표 샘플 집합이 cluster 구조를 포착한다고 가정하는데, 이는 많은 환경에서 실용적이지만 이질적인 cluster에는 제약이 될 수 있다. 잠재적인 사전학습 노출과 관련해서는, 우리 파이프라인의 LLM이 오직 각 cluster에 이미 배정된 텍스트를 요약하는 데만 사용된다는 점에 유의하라. 이는 외부 label이나 보지 못한 내용을 주입하지 않으므로 어떤 노출도 부당한 이점을 주지 않는다. StackExchange 데이터셋에서의 차선의 결과(Table 4)가 시사하듯, k-NLPmeans는 사용에 앞서 텍스트 정제 전처리를 적용하면 이득을 볼 수 있다. 마지막으로 우리는 Appendix E에서 질적인 실패 사례를 예시한다.
Cost. 우리의 k-NLPmeans는 LLM이 없으며, 실행 시간은 표준 k-means와 가벼운 요약 단계가 지배한다. 이와 대조적으로 k-LLMmeans는 summarization step마다 cluster당 한 번의 LLM 호출을 발생시킨다. 이 호출들은 고도로 병렬화 가능하므로 실제 소요 시간은 대략 단일 LLM 호출의 지연시간에 summarization step 수를 곱한 정도다. 실제로 GPT-4o와 text-embedding-3-small을 사용해 다섯 번의 요약 라운드로 임의의 정적 데이터셋을 실행하는 데는 1달러 미만이 들었고 병렬화 없이 노트북 한 대에서 약 1분 만에 완료되었다. Stack Overflow 데이터셋의 경우 종단 간 실행 비용은 2.5달러였고 같은 조건에서 약 8분이 걸렸다. 이에 비해 LLM을 많이 쓰는 경쟁 접근법들은 동일한 하드웨어와 API 설정에서 18~25달러와 40분 이상을 요구할 것이다. 따라서 k-LLMmeans는 LLM을 활용하는 방법들 가운데 해석 가능하고 비용 효율적으로 남으며, k-NLPmeans는 예산이나 지연시간에 제약이 있을 때 강력하고 해석 가능한 LLM 없는 대안을 제공한다.
Reproducibility Statement
- 본 논문의 모든 결과를 재현할 수 있는 데이터와 코드를 공개한다.
[Translated by Claude]
우리는 본 논문의 모든 결과를 재현하기 위한 데이터와 코드를 https://github.com/jairoadiazr/summaryCentroids 에서 공개한다(사용법은 README를 참고하라).
Acknowledgments
- 본 연구는 캐나다 자연과학공학연구위원회(NSERC)의 DGECR-2022-04531 지원을 받았다.
[Translated by Claude]
본 연구는 캐나다 자연과학공학연구위원회(NSERC)의 grant DGECR-2022-04531의 지원을 받았다. 저자는 이 연구의 품질을 크게 향상시킨 소중한 피드백과 통찰력 있는 제안을 준 Mumin Jia, 익명의 심사자들, 그리고 세션 의장에게 감사한다.
A Datasets
A.1 Non-streaming Datasets
- Bank77(Casanueva et al., 2020): 은행 서비스와 관련된 3,080개의 고객 질의로 구성되며 77개의 서로 다른 intent로 범주화되어 있다.
- CLINC(Larson et al., 2019): 여러 도메인에 걸친 150개 intent 클래스를 아우르는 4,500개 질의의 다양한 집합으로, 오픈 도메인 intent 분류를 위해 설계되었다.
- GoEmo(Demszky et al., 2020): 27개의 세분화된 감정 범주로 주석된 2,984개의 소셜 미디어 게시물을 담는다. 데이터 불균형을 다루기 위해 중립 표현을 제거하고 단일하고 유일한 감정을 갖는 항목만 남겼다.
- MASSIVE(FitzGerald et al., 2023): 18개 domain과 59개 intent 범주로 묶인 2,974개의 영어 가상 비서 발화로 구성된다.
[Translated by Claude]
우리는 네 개의 벤치마크 데이터셋에서 우리의 clustering 접근을 평가한다. Bank77(Casanueva et al., 2020): 은행 서비스와 관련된 3,080개의 고객 질의로 구성되며 77개의 서로 다른 intent로 범주화되어 있다. CLINC(Larson et al., 2019): 여러 도메인에 걸쳐 150개의 intent 클래스를 아우르는 4,500개 질의의 다양한 집합으로, 오픈 도메인 intent 분류를 위해 설계되었다. GoEmo(Demszky et al., 2020): 27개의 세분화된 감정 범주로 주석된 2,984개의 소셜 미디어 게시물을 담는다. 우리는 데이터 불균형을 다루기 위해 중립 표현을 제거하고 단일하고 유일한 감정을 갖는 항목만 남겼다. MASSIVE(FitzGerald et al., 2023): 18개 domain과 59개 intent 범주로 묶인 2,974개의 영어 가상 비서 발화로 구성된다.
이 데이터셋들은 서로 다른 도메인과 분류 세분성에 걸친 text clustering에 대해 견고한 평가 환경을 제공한다.
A.2 New Compiled Dataset for Testing Text-Streaming Clustering Algorithms
- 우리는 84개 Stack Exchange 사이트에서 수집한 고유한 아카이브 게시물로 이루어진 도전적인 데이터 스트림을 추출하고 통합한다. 각 게시물에는 사이트 label(domain)과 timestamp가 붙어 있다.
- raw 데이터셋은 84개 domain을 아우르며 각 domain은 2018년부터 2023년까지 연간 최소 20개의 게시물을 담고(게시물 길이는 20~1000자), 총 499,359개의 게시물이 있다.
- 실험에서는 2020년부터 2023년까지의 게시물에 초점을 맞추고 2023년에 500개 게시물을 넘지 않는 label을 걸러 낸다. 그 결과 부분집합은 35개의 서로 다른 그룹과 69,147개의 게시물로 구성된다.
- raw 데이터와 정제 데이터 모두 본 논문과 함께 제공된다. Stack Exchange 콘텐츠는 CC BY-SA 4.0 라이선스를 따른다.
[Translated by Claude]
우리는 84개 Stack Exchange 사이트(StackExchange, 2024)에서 수집한 고유한 아카이브 게시물로 이루어진 도전적인 데이터 스트림을 추출하고 통합한다. 각 게시물에는 사이트 label(domain)과 timestamp가 함께 붙어 있어, 이 데이터셋은 온라인 또는 순차 clustering 방법을 평가하기에 잘 맞는다. 우리의 raw 데이터셋은 84개 domain을 아우르며, 각 domain은 2018년부터 2023년까지 연간 최소 20개의 게시물을 담고(게시물 길이는 20자에서 1000자까지) 총 499,359개의 게시물로 이루어진다. 우리의 실험에서는 2020년부터 2023년까지의 게시물에 초점을 맞추고, 나아가 2023년에 500개 게시물을 넘지 않는 label을 걸러 낸다. 그 결과 부분집합은 35개의 서로 다른 그룹과 69,147개의 게시물로 구성된다. raw 데이터와 정제된 데이터 모두 본 논문과 함께 제공된다. Stack Exchange 콘텐츠는 Creative Commons Attribution-ShareAlike 4.0 International(CC BY-SA 4.0) 라이선스를 따른다.
B Supplementary Results
B.1 Main Results with Standard Deviations
- Table 5, 6, 7, 4에서 우리는 Table 1, 2, 3, 8과 동일한 결과를 표준편차를 포함하여 보고한다.
[Translated by Claude]
Table 5, 6, 7과 4에서 우리는 Table 1, 2, 3과 8에 있는 것과 동일한 결과를 표준편차를 포함하여 보고한다.
B.2 Additional Experiments
B.2.1 Sensitivity to Number of Clusters k
- cluster 수 k가 ground truth보다 아래(k−20%, k−10%), ground truth(k), 그 위(k+10%, k+20%)로 설정될 때의 효과를 평가하여 parameter k에 대한 민감도를 조사했다.
- 해당 결과는 Table 9에 보고되어 있다.
- k-NLPmeans와 k-LLMmeans 모두 k의 추정 오차와 무관하게 일관되게 kmeans를 능가하며, ACC와 NMI에 대한 전체 영향은 미미하게 유지된다.
[Translated by Claude]
우리는 또한 cluster 수 k가 ground truth보다 아래로(k−20%, k−10%), ground truth에(k), 그리고 그 위로(k+10%, k+20%) 설정될 때의 효과를 평가함으로써 parameter k(cluster 수)에 대한 민감도를 조사했다. 해당 결과는 Table 9에 보고되어 있다. 거기서 보듯 k-NLPmeans와 k-LLMmeans 모두 k의 추정 오차와 무관하게 일관되게 kmeans를 능가하며, ACC와 NMI에 대한 전체적인 영향은 미미하게 유지된다.
B.2.2 Sensitivity to Prompt I and Parameter q
- text-embedding-3-small과 GPT-4o로 k-LLMmeans(FS-single)를 사용해 BANK77에서 다섯 개의 prompt 변형을 시험함으로써 지시 prompt I에 대한 k-LLMmeans의 민감도를 평가했다.
- 같은 데이터셋과 embedding에서 parameter q의 효과도 검토했다.
- Table 10에서 보듯 성능은 prompt 선택과 q 설정 전반에서 놀랍도록 안정적으로 유지되며, 이는 이 방법들이 이런 hyperparameter에 둔감함을 나타낸다.
[Translated by Claude]
우리는 text-embedding-3-small과 GPT-4o로 k-LLMmeans(FS-single)를 사용하여 BANK77에서 다섯 개의 prompt 변형을 시험함으로써 지시 prompt I에 대한 k-LLMmeans의 민감도를 평가했다. 우리는 또한 같은 데이터셋과 embedding에서 parameter q의 효과를 검토했다. Table 10에서 보듯 성능은 prompt 선택과 q 설정 전반에 걸쳐 놀랍도록 안정적으로 유지되며, 이는 이 방법들이 이런 hyperparameter에 둔감함을 나타낸다.
B.2.3 Sensitivity to Number Sampling Strategy for the Few-shot (FS) Variant of k-LLMmeans
- few-shot 변형을 위한 대안적 샘플링 절차의 효과도 검토한다.
- 본문에서는 k-means++를 제안하지만 여기서는 균등 무작위 선택(random), cluster centroid에 가장 가까운 것 선택(centroid), 가장 먼 것 선택(edge)도 탐색한다.
- 해당 결과는 Table 11에 보고되어 있으며, 우리가 제안한 k-means++가 일관된 성능을 갖는 것으로 보인다.
[Translated by Claude]
우리는 또한 few-shot 변형을 위한 대안적 샘플링 절차의 효과를 검토한다. 우리는 본문에서 k-means++를 제안하지만 여기서는 균등 무작위 선택(random), cluster centroid에 가장 가까운 것을 선택(centroid), 가장 먼 것을 선택(edge)하는 방식도 탐색한다. 해당 결과는 Table 11에 보고되어 있다. 거기서 보듯 우리가 제안한 k-means++가 일관된 성능을 갖는 것으로 보인다.
C Evaluation Metrics
- 평가에는 clustering accuracy(ACC)와 normalized mutual information(NMI)을 보고한다. NMI는 sklearn.metrics의 normalized mutual info score로 계산하며, 이는 표준적인 상호정보량 기반 정규화를 구현한다.
- Y를 ground-truth label, Ŷ을 예측된 cluster label이라고 하자. 먼저 Wij = |{n : ŷn = i, yn = j}|를 원소로 하는 contingency matrix W ∈ N^{D×D}를 만든다. 여기서 D는 최대 label 인덱스에 1을 더한 값이고 N은 데이터 점의 개수다.
- Y와 Ŷ 사이의 경험적 상호정보량 MI(Y, Ŷ)와 엔트로피 H(Y), H(Ŷ)를 정의하고, sklearn의 기본값을 따라 NMI(Y, Ŷ) = MI(Y, Ŷ) / [ (H(Y) + H(Ŷ)) / 2 ]로 정의한다.
- ACC는 cluster의 최적 일대일 재라벨링 이후 올바르게 배정된 점의 비율로 정의된다. 동일한 contingency matrix W에 대해 Hungarian algorithm으로 최대 가중치 이분 매칭을 풀고 ACC = (1/N) Σ_{(i,j)∈M} Wij를 계산한다.
[Translated by Claude]
평가를 위해 우리는 clustering accuracy(ACC)와 normalized mutual information(NMI)을 보고한다. NMI는 sklearn.metrics의 normalized mutual info score로 계산하며, 이는 표준적인 상호정보량 기반 정규화를 구현한다. Y를 ground-truth label, Ŷ을 예측된 cluster label이라고 하자. 우리는 먼저 원소가 Wij = |{n : ŷn = i, yn = j}|인 contingency matrix W ∈ N^{D×D}를 만드는데, 여기서 D는 최대 label 인덱스에 1을 더한 값이고 N은 데이터 점의 개수다. Y와 Ŷ 사이의 경험적 상호정보량은 다음과 같다.
MI(Y, Ŷ) = Σ_{i,j} (Wij / N) log[ N Wij / ( (Σ_{j′} Wij′)(Σ_{i′} Wi′j) ) ]
그리고 엔트로피는 다음과 같다.
H(Y) = − Σ_j (Σ_i Wij / N) log(Σ_i Wij / N), H(Ŷ) = − Σ_i (Σ_j Wij / N) log(Σ_j Wij / N)
sklearn의 기본값을 따라 NMI는 다음과 같이 정의된다.
NMI(Y, Ŷ) = MI(Y, Ŷ) / [ (1/2)( H(Y) + H(Ŷ) ) ]
ACC는 cluster의 최적 일대일 재라벨링 이후 올바르게 배정된 점의 비율로 정의된다. 구체적으로 동일한 contingency matrix W가 주어졌을 때, 우리는 W에 대해 Hungarian algorithm을 사용하여 최대 가중치 이분 매칭을 풀고 다음을 계산한다.
ACC = (1/N) Σ_{(i,j)∈M} Wij
여기서 M은 Hungarian algorithm이 반환한 매칭된 label 쌍의 집합이다.
D Algorithms
- 이 절은 Algorithm 1(k-NLPmeans / k-LLMmeans)과 Algorithm 2(mini batch 버전)를 포함한다.
Algorithm 1: k-NLPmeans / k-LLMmeans
Algorithm 1: k-NLPmeans / k-LLMmeans
input: D = {d1, . . . , dn}, k, I, m, l, T
for i ← 1 to n do
xi = Embedding(di);
end
for t ← 1 to T do
if t = 1 then
// Initialize using k-means++
{µ1, . . . , µk} ← k-means++({d1, . . . , dn}, k);
end
else if t mod l = 0 then
// Summarization step every l iterations
for j ← 1 to k do
µj ← Embedding( jth cluster summary );
end
end
else
// k-means step
for j ← 1 to k do
µj ← (1/|Cj|) Σ_{i∈[Cj]} xi;
end
end
for j ← 1 to k do
Cj = {};
end
for i ← 1 to n do
j* ← arg min_{j∈{1,...,k}} d(xi, µj);
// Assign xi to cluster Cj*
Cj* ← Cj* ∪ {xi};
end
end
return {µ1, . . . , µk}, {s1, . . . , sk}
Algorithm 2: Mini-batch k-NLPmeans / k-LLMmeans
Algorithm 2: Mini-batch k-NLPmeans / k-LLMmeans
input: {D1, · · · , Db}, k, I, m, l, T // b batches of documents
for j ← 1 to k do
Cj = {};
end
{µ1, . . . , µk} ← {0, . . . , 0};
for i ← 1 to b do
// Compute k-NLPmeans / k-LLMmeans with documents in batch
{µ*1, . . . , µ*k}, {C*1, . . . , C*k}, Sb ←
k-NLPmeans(Di, k, I, m, l, T) or k-LLMmeans(Di, k, I, m, l, T);
// Update centroids proportional to cluster and batch sizes
for j ← 1 to k do
η ← |C*j| / ( |Cj| + |C*j| );
µj ← µj(1 − η) + η µ*j;
end
end
return {µ1, . . . , µk}, {S1, . . . , Sb}
[Translated by Claude]
이 절은 Algorithm 1(k-NLPmeans / k-LLMmeans)과 Algorithm 2(mini batch 버전)를 포함한다.
(각주 1) 여기서 k-NLPMmeans/k-LLMmeans는 이전 batch의 최종 centroid로 초기화된다.
E Qualitative Analysis and Failure Modes
- 본문에서는 summary-as-centroid가 cluster를 어떻게 더 해석 가능하게 만드는지를 예시하기 위해 성공 사례에 초점을 맞췄다.
- 완결성을 위해 우리는 우리 접근의 전형적인 한계를 부각하는 질적 실패 사례를 제공한다.
- 아래 예시들은 대표적인 것이지 망라적인 것은 아니며, 명료성을 위해 가볍게 익명화·의역되었다.
[Translated by Claude]
본문에서 우리는 summary-as-centroid가 cluster를 어떻게 더 해석 가능하게 만들 수 있는지를 예시하기 위해 성공적인 예시에 초점을 맞췄다. 완결성을 위해 우리는 우리 접근의 전형적인 한계를 부각하는 질적 실패 사례를 제공한다. 아래의 예시들은 대표적인 것이지 망라적인 것은 아니며, 명료성을 위해 가볍게 익명화되고 의역되었다.
E.1 Prompt-Echo and Meta Summaries
- 우리가 언급하는 첫 번째 실패 양상은(k-LLMmeans의 경우) “prompt echoing”으로, LLM이 실제 내용을 요약하는 대신 지시를 부분적으로 반복하는 현상이다.
- Example 1(Prompt-echo / meta summary)에서 요약은 “A group of user support messages asking about the topics mentioned above, focusing on account and billing issues.”처럼 나타난다.
- “messages”나 “topics mentioned above” 같은 메타 표현은 요약을 간결한 설명으로서 덜 유용하게 만든다. prompt를 약간 조이면 이런 거동이 줄어든다.
[Translated by Claude]
우리가 언급하는 첫 번째 실패 양상은(k-LLMmeans의 경우) “prompt echoing”으로, LLM이 실제 내용을 요약하는 대신 지시를 부분적으로 반복하는 것이다.
Example 1 (Prompt-echo / meta summary).
| Cluster snippets (paraphrased) | Generated summary |
|---|---|
| “My subscription was renewed without my consent.” “Please cancel my premium plan and refund the last payment.” “I was charged after I thought I had cancelled.” |
“A group of user support messages asking about the topics mentioned above, focusing on account and billing issues.” |
“messages”나 “topics mentioned above” 같은 메타 표현은 요약을 간결한 설명으로서 덜 유용하게 만든다. prompt를 약간 조이면(예: “Do not mention that you are summarizing, and avoid meta phrases like ‘questions’ or ‘messages’”) 이런 거동이 줄어든다.
E.2 Spurious Detail and Hallucinated Constraints
- 우리는 또한 요약이 cluster에 의해 일관되게 뒷받침되지 않는 세부 사항을 도입하는 경우를 이따금 관찰한다.
- Example 2(Hallucinated detail)에서 요약은 crash를 올바르게 포착하지만 일관되게 뒷받침되지 않는 오도적인 세부 사항(“on Android”)을 덧붙인다.
- 완화책으로는 (i) LLM에게 뒷받침되지 않는 구체 사항을 피하도록 요청하는 것과, (ii) 위험이 큰 환경에서 추출 요약을 사용하는 것이 있다.
[Translated by Claude]
우리는 또한 요약이 cluster에 의해 일관되게 뒷받침되지 않는 세부 사항을 도입하는 경우를 이따금 관찰한다.
Example 2 (Hallucinated detail).
| Cluster snippets (paraphrased) | Generated summary |
|---|---|
| “The app keeps crashing when I open the camera.” “It freezes on the loading screen after the last update.” “The app closes automatically when I try to log in.” |
“Complaints about the mobile app crashing on Android after the latest security update.” |
요약은 crash를 올바르게 포착하지만 일관되게 뒷받침되지 않는 오도적인 세부 사항(“on Android”)을 덧붙인다. 완화책으로는 (i) LLM에게 뒷받침되지 않는 구체 사항을 피하도록 요청하는 것(“avoid making up details such as platforms or versions”)과, (ii) 위험이 큰 환경에서 추출 요약을 사용하는 것이 있다.
E.3 Over-Compressed Multi-Topic Summaries
- 또 다른 실패 양상은 cluster가 실제로 비슷한 빈도의 서로 다른 여러 주제를 뒤섞고 있을 때 나타난다.
- 이 경우 summarizer는 때때로 “모든 것을 한꺼번에 다루려” 시도하여, 여러 가지를 언급하지만 너무 넓어서 쓸모가 없는 과도하게 압축된 요약을 만들어 낸다.
- 약간 더 상세한 요약을 허용하거나 짧은 불릿 형태의 요약을 생성하면 이 문제가 완화될 수 있지만, cluster가 진정으로 다중 주제일 때 간결성과 구체성 사이의 본질적 긴장을 부각하기도 한다.
[Translated by Claude]
또 다른 실패 양상은 cluster가 실제로 비슷한 빈도의 서로 다른 여러 주제를 뒤섞고 있을 때 나타난다. 이 경우 summarizer는 때때로 “모든 것을 한꺼번에 다루려” 시도하여, 여러 가지를 언급하지만 너무 넓어서 쓸모가 없는 과도하게 압축된 요약을 만들어 낸다.
Example 3 (Over-compressed multi-topic summary).
| Cluster snippets (paraphrased) | Generated summary |
|---|---|
| “How do I change my password?” “Where can I update my email address?” “How do I delete my account permanently?” “Can I change my username without losing data?” |
“Questions about managing and modifying user accounts, including changing settings and making updates.” |
여기서 요약은 기술적으로는 “managing and modifying user accounts”를 언급하지만, 서로 구별되는 여러 작업(비밀번호 재설정, 이메일 변경, 계정 삭제, 사용자명 변경)을 하나의 모호한 설명으로 압축한다. 이는 예를 들어 삭제와 단순 편집을 구별하고자 하는 후속 사용자에게 prototype을 덜 유익하게 만든다. 실제로 우리는 약간 더 상세한 요약을 허용하거나(예: “changing passwords, emails, usernames, and deleting accounts”) 짧은 불릿 형태의 요약을 생성하면 이 문제를 완화할 수 있음을 발견했지만, 이는 cluster가 진정으로 다중 주제일 때 간결성과 구체성 사이에 존재하는 본질적 긴장 또한 부각한다.
E.4 Overly Generic Summaries
- 이 실패 양상은 앞의 것과 반대다. 요약이 지나치게 일반적이어서 cluster의 구체적인 intent나 주제를 전달하지 못할 때 발생한다.
- 이는 cluster가 상대적으로 이질적이거나 summarizer가 매우 짧게 쓰도록 강제될 때 자주 일어난다.
- 약간 더 긴 요약을 허용하고 “key actions or problems”를 명시적으로 요구하면 이 실패 양상이 줄어드는 경향이 있다.
[Translated by Claude]
이 실패 양상은 앞의 것과 반대다. 이는 요약이 지나치게 일반적이어서 cluster의 구체적인 intent나 주제를 전달하지 못할 때 일어난다. 이는 cluster가 상대적으로 이질적이거나 summarizer가 매우 짧게 쓰도록 강제될 때 흔히 발생한다.
Example 4 (Overly generic summary).
| Cluster snippets (paraphrased) | Generated summary |
|---|---|
| “I lost access to my card, can you freeze it?” “My card was stolen and I need a replacement.” “Please block my card, someone used it without permission.” |
“Questions about using the banking service.” |
이 cluster는 분명히 카드 동결/차단에 관한 것이지만 요약은 이를 모호한 설명으로 뭉갠다. 요약은 여전히 도메인과 관련은 있지만 인간의 해석에는 가능한 것보다 덜 도움이 된다. 약간 더 긴 요약을 허용하고 “key actions or problems”를 명시적으로 요구하면 이 실패 양상이 줄어드는 경향이 있다.
E.5 Minority-Topic Overshadowing
- 다섯 번째 실패 양상은 cluster가 지배적인 하위 주제와 함께 더 작지만 중요한 소수 하위 주제를 담고 있을 때 나타난다.
- 우리의 접근은 cluster당 하나의 prototype을 사용하므로 요약이 소수 주제를 과소 대표할 수 있다.
- 이 한계는 (수치적이든 텍스트든) 모든 단일 prototype 방법에 내재한다. cluster 내부의 다양성 인지 샘플링과 간단한 하위 주제 목록 허용이 부분적으로 완화할 수 있다.
[Translated by Claude]
다섯 번째 실패 양상은 cluster가 지배적인 하위 주제와 함께 더 작지만 중요한 소수 하위 주제를 담고 있을 때 나타난다. 우리의 접근은 cluster당 하나의 prototype을 사용하기 때문에 요약이 소수 주제를 과소 대표할 수 있다.
Example 5 (Minority-topic overshadowing).
| Cluster snippets (paraphrased) | Generated summary |
|---|---|
| “How do I book a train ticket for tomorrow?” “Can I book a round trip in one payment?” “I need to cancel my ticket and get a refund.” |
“Questions about booking train tickets.” |
여기서 요약은 다수를 차지하는 “booking” 패턴에 초점을 맞추고 취소/환불을 누락하는데, 이는 후속 라벨링에 결정적일 수 있다. 이 한계는 (수치적이든 텍스트든) 모든 단일 prototype 방법에 내재한다. cluster 내부의 다양성을 인지하는 샘플링(k-LLMmeans의 경우)과 하위 주제의 간략한 목록 허용(예: “booking and cancelling train tickets”)이 이 문제를 부분적으로 완화할 수 있다.
E.6 Mildly Misleading Emphasis
- 여섯 번째 실패 양상은 요약이 대체로는 옳지만 cluster의 덜 중심적인 측면을 강조할 때 발생하며, 이는 인간 독자에게 약간 오도적일 수 있다.
- Example 6에서 요약은 전자상거래 도메인에는 머물러 있지만 초점을 주소 갱신에서 배송 추적으로 옮긴다.
- 이런 유형의 오류는 대개 인간 주석자가 쉽게 발견하고 수정할 수 있지만, 요약이 cluster의 가장 두드러진 측면과 완벽히 일치한다고 보장되지 않음을 보여준다.
[Translated by Claude]
여섯 번째 실패 양상은 요약이 대체로는 옳지만 cluster의 덜 중심적인 측면을 강조할 때 발생하며, 이는 인간 독자에게 약간 오도적일 수 있다.
Example 6 (Mildly misleading emphasis).
| Cluster snippets (paraphrased) | Generated summary |
|---|---|
| “How can I change the delivery address for my order?” “I moved, can you update the shipping address?” “Can I edit the address before the package is sent?” |
“Questions about tracking online orders.” |
요약은 전자상거래 도메인에는 머물러 있지만 초점을 주소 갱신에서 추적으로 옮긴다. 이런 유형의 오류는 대개 인간 주석자가 쉽게 발견하고 수정할 수 있지만, 요약이 cluster의 가장 두드러진 측면과 완벽하게 일치한다고 보장되지는 않음을 보여준다.
E.7 Cross-Lingual and Code-Mixed Drift
- 마지막으로 다국어 또는 코드 혼용 데이터(예: MASSIVE나 영어와 다른 언어가 섞인 StackExchange 게시물)에서는 요약이 지배적인 언어 쪽으로 표류하거나 비영어 뉘앙스를 빠뜨리는 경우를 이따금 본다.
- Example 7에서 요약은 앱 언어 변경이라는 중심 개념을 포착하지 못하고 매우 일반적인 설명으로 무너진다.
- 다국어 embedding을 사용하고 prompt에 요약이 “질문이 서로 다른 언어라도 주된 문제나 요청을 기술해야 한다”고 명시하면 이런 사례가 개선되지만 완전히 제거되지는 않는다.
[Translated by Claude]
마지막으로 다국어 또는 코드 혼용 데이터(예: MASSIVE나 영어와 다른 언어를 섞은 StackExchange 게시물)에서는 요약이 지배적인 언어 쪽으로 표류하거나 비영어 뉘앙스를 빠뜨리는 경우를 이따금 본다.
Example 7 (Cross-lingual drift).
| Cluster snippets (paraphrased) | Generated summary |
|---|---|
| “¿Puedo cambiar el idioma de la app a español?” “How do I switch the interface to French?” “Comment changer la langue par défaut de l’application ?” |
“Questions about using the app.” |
여기서 요약은 앱 언어를 바꾼다는 중심 개념을 포착하지 못하고 매우 일반적인 설명으로 무너진다. 다국어 embedding을 사용하고 요약이 “describe the main problem or request, even if the questions are in different languages”해야 한다고 prompt에 명시적으로 언급하면 이런 사례가 개선되지만 완전히 제거되지는 않는다.
E.8 Discussion on Failure Modes
- 이 질적 사례들은 우리의 텍스트 prototype이 무오류가 아님을 보여준다. 지나치게 일반적일 수 있고, 소수 하위 주제를 과소 대표할 수 있으며, prompt를 되풀이하거나 세부 사항을 hallucinate하거나 다국어 뉘앙스에 어려움을 겪을 수 있다.
- 그럼에도 우리의 정량적 결과는 요약 기반 centroid가 데이터셋과 embedding 전반에서 numeric centroid를 일관되게 능가하며 cluster 의미에 대한 해석 가능한 손잡이를 제공함을 보여준다.
- 최악의 경우에도 부실한 요약은 차선의 centroid 갱신처럼 작동하여 절차가 사실상 vanilla k-means 해 쪽으로 되돌아가므로 성능이 파국적으로 저하되지는 않는다.
- 우리는 더 robust한 prompt, 더 강력한 다국어 요약, 다중 prototype 확장(예: cluster별 하위 요약)의 개발을 유망한 향후 연구 방향으로 본다.
[Translated by Claude]
이 질적 사례들은 우리의 텍스트 prototype이 무오류가 아님을 예시한다. 이들은 지나치게 일반적일 수 있고, 소수 하위 주제를 과소 대표할 수 있으며, prompt를 되풀이하거나, 세부 사항을 hallucinate하거나, 다국어 뉘앙스에 어려움을 겪을 수 있다. 그럼에도 우리의 정량적 결과는 요약 기반 centroid가 데이터셋과 embedding 전반에 걸쳐 numeric centroid를 일관되게 능가하며 cluster 의미에 대한 해석 가능한 손잡이를 제공함을 보여준다. 최악의 경우에도 부실한 요약은 차선의 centroid 갱신처럼 작동하여 절차가 사실상 vanilla k-means 해 쪽으로 되돌아가므로 성능이 파국적으로 저하되지 않는다. 우리는 더 robust한 prompt, 더 강력한 다국어 요약, 그리고 다중 prototype 확장(예: cluster별 하위 요약)을 개발하는 것을 유망한 향후 연구 방향으로 본다.
