728x90 SMALL 논문/Natural Language Processing (NLP)2 [논문 리뷰] Summaries as Captions: Generating Figure Captions for Scientific Documents with Automated Text Summarization (23.8) 좋은 그림 캡션들은 논문 독자에게 복잡한 과학적인 그림을 이해하는데 도움을 줍니다. 그러나, 출판된 논문 조차도 종종 부실하게 작성된 캡션을 포함하고 있습니다. 자동 캡션 생성은 논문 작성자가 더 나은 품질의 캡션을 위해 수정할 수 있는 좋은 출발점을 제공함으로써 도움을 줄 수 있습니다. 이전 연구에서는 그림 캡션 생성을 vision-to-language 과제로 다루었습니다. 이 논문에서는 그림 캡션 생성을 과학 문서에서 텍스트 요약 작업으로 더 효과적으로 처리할 수 있음을 보여줍니다. 우리는 사전 학습된 abstractive 요약 모델인 PEGASUS를 fun-tuning하여 그림을 참조하는 문단(예: "그림 3은...")을 그림 캡션으로 요약하도록 하였습니다. 대규모 arXiv 그림에 대한 실험은 우.. 2024. 6. 7. Orca: Progressive Learning from ComplexExplanation Traces of GPT-4 (정리중) - 제목 : Orca: Progressive Learning from Complex Explanation Traces of GPT-4 - Abstract 최근 연구들은 대규모 생성 모델(LFM)을 바탕으로 모방 학습을 통해 더 작은 모델의 기능을 향상시키는데 초점을 맞추고 있다. shallow LFM 결과물로 제한된 학습으로 만들어지고, 소규모의 균질한(동일한) 훈련 데이터 그리고 가장 주목할 것은 엄격한 평가의 부족으로 인해 작은 모델의 기능을 과대 평가하는 스타일은 모방하는 법은 배우지만, LFM의 추론과정을 배우지는 않고, 이러한 모델의 품질에는 여러가지 이슈들이 영향을 미칩니다. 출처 Orca: Progressive Learning from Complex Explanation Traces of G.. 2023. 9. 19. 이전 1 다음 728x90 LIST
