728x90
SMALL
- 제목 : Orca: Progressive Learning from Complex Explanation Traces of GPT-4
- Abstract
최근 연구들은 대규모 생성 모델(LFM)을 바탕으로 모방 학습을 통해 더 작은 모델의 기능을 향상시키는데 초점을 맞추고 있다. shallow LFM 결과물로 제한된 학습으로 만들어지고, 소규모의 균질한(동일한) 훈련 데이터 그리고 가장 주목할 것은 엄격한 평가의 부족으로 인해 작은 모델의 기능을 과대 평가하는 스타일은 모방하는 법은 배우지만, LFM의 추론과정을 배우지는 않고, 이러한 모델의 품질에는 여러가지 이슈들이 영향을 미칩니다.
출처
Orca: Progressive Learning from Complex Explanation Traces of GPT-4
Recent research has focused on enhancing the capability of smaller models through imitation learning, drawing on the outputs generated by large foundation models (LFMs). A number of issues impact the quality of these models, ranging from limited imitation
arxiv.org
728x90
LIST
