Day Paper Read 9/1~9/31

9/2

[Fine-tuning] Smaller, Weaker, Yet Better: Training LLM Reasoners via Compute-Optimal Sampling

https://moonjae.tistory.com/40

[Paper] Smaller, Weaker, Yet Better

여기에 정리 합성 데이터의 고비용 모델과 저비용 모델간의 트레이드 오프 비교 

 

9/3

[Prompting] Self-consistency

https://moonjae.tistory.com/41

[Paper] Self-Consistency

CoT의 자가 일관성을 결합한 프롬프팅 방식

 

9/4 

[RAG] Corrective Retrieval Augmented Generation

https://arxiv.org/abs/2401.15884

Corrective Retrieval Augmented Generation

RAG 관련있는 문서 판단 후 Web search로 보고 프롬프트에 추가

자동화

 

9/5

[Prompting] Tree of Thoughts

https://moonjae.tistory.com/42

[Paper] Tree of Thoughts

Tree 구조로 CoT작업을 수행함

탐색을 많이 해서 푸는 문제들에 효과가 있음

 

9/9 

[prompting] Strategic Chain of Thought

https://moonjae.tistory.com/43

[Paper] Tree of Thoughts

문제 해결을 위한 전략을 먼저 CoT하고 답을 도출해 내는 프롬프팅 방법

 

9/10

[Eval] RAGAS

https://arxiv.org/pdf/2309.15217

RAG 평가를 위한 프레임워크를 기술

직접 구현도 해봤는데.. 그닥 믿을만하지는 않는 그런..

 

9/11

[RAG] In Defense of RAG in the Era of Long Context Language Models

https://moonjae.tistory.com/45

[Paper] In Defense of RAG in the Era of Long Context Language Models

유사도 기반으로 순서를 바꾸는게 아니라 원래의 순서 그대로 유지하는게

RAG에 있어서 더 효과적으로 작용한다는 주장이 담긴 논문

 

9/12~13

출장...

 

9/15~18

추석...

 

9/19

[Model] Learning to Reason with LLMs (GPT-o1)

https://moonjae.tistory.com/46

[Paper] Learning to Reason with LLMs (GPT-o1)