qwen21 허깅페이스에서 오픈소스 모델로 양자화기법을 적용하여 요약 모델 구현하기 안녕하세요 오니입니다🐰Transformers 라이브러리는 자연어 처리를 위한 많은 태스크를 지원 및 직접 정의한 헤더를 부착하여 원하는 태스크를 수행할 수 있는 확장성을 가지고 있어 굉장히 유용한 라이브러리인데요. 요즘은 gpt API를 활용하여 여러 업무에 활용하고 있지만, 단순히 LLM실습을 해보거나 때로는 오픈소스 모델을 시도/활용해야하는 상황도 분명 존재합니다. (실제로 회사에서 답변을 요약하는 과제를 수행했을 때 오픈소스 모델로 먼저 테스트를 해봤습니다. 하지만 실제 업무에 활용하기에는 데이터양으로 인한 속도 이슈로 인해 GPT4o-mini를 사용했답니다😝 그럼에도 분명 의미가 있는 과정이었어요👍) 따라서 이번 포스팅에서는 허깅페이스에서 오픈소스 모델인 'Ko-Qwen2-7B-Instruc.. 2025. 2. 1. 이전 1 다음
