728x90 반응형 SMALL LLM data1 [논문 리뷰] Data-Juicer: A One-Stop Data Processing System for LargeLanguage Models (23.10) (this version, v2) LLM의 엄청난 발전은 다양하고 다량의 높은 품질의 데이터의 중요성을 강조했습니다. 데이터 레시피(data recipe)는 LLM을 훈련하기 위한 다양한 소스 데이터들을 혼합한 것으로, LLM의 성능을 결정하는 가장 중요한 요인으로 알려져있습니다. 존재하는 오픈 소스 도구는 주로 특정 데이터 레시피를 준비하는데에 맞춰져 있습니다. LLM의 잠재력을 지속적으로 발견하고, 새로운 소스로 부터 데이터를 통합(incorporate), LLM의 성능을 향상시키기 위해, 우리는 Data-Juicer라 불리는 새로운 시스템을 개발했습니다, 시스템을 통해 다양한 데이터 레시피를 효율적으로 생산하고, 데이터 혼합물을 형성하는 다양한 가능성을 탐색하며, 그리고 모델의 성능에 미치는 영향을 평가할 수 있습니다. 전통적인 데.. 2023. 11. 3. 이전 1 다음 728x90 반응형 LIST
