NLP

기존에 작성하였던 RAG 논문리뷰 포스트를 통해 RAG의 기본적인 지식 및 이해를 하였다. 그러나 2020년에 나온 논문이며, 발전된 모델에 대해서 공부하고, 모델의 구조에 대해 완벽하게 이해되었다고 생각하지 않아, 추가적으로 해당 Survey 논문을 읽어보게 되었다. 해당 논문을 통하여 기존에 공부하였던 Naive RAG에서 더 나아가, Advanced RAG, Modular RAG까지 공부하고자 한다. Retrieval-Augmented Generation for Large Language Models: A Survey 1. Abstract LLM(Large Laguage Model)은 많은 분야에서 뛰어난 성능을 보이고 있지만 다음과 같은 3가지 문제점을 가지고 있다. hallucination : ..

RAG (Retrieval-Agumented Generation) 이번에 볼 논문은 https://arxiv.org/abs/2005.11401 으로 2020년도에 NeurIPS에 출판된 논문이다. 제목에 포함된 대로 NLP에 검색(Retrieval)이 추가된(Agumented) 생성모델이다. Retrieval Argumented Generation에 대한 설명 : IBM Technology RAG은 LLM model의 성능을 비약적으로 상승시키는데 유용한 방법론이다. 특히나 이번에 챗봇에 대해 공부하면서 더욱 자세히 보게 되었다. 매우 유용한 방법론이고, 기존 LLM의 한계점인 Dataset과, Hallucination을 해결하는데 효과적이라는 생각이 들었다. 0. Abstract Large Langua..