논문 읽기/다양한 논문 훑어보기 (2) 썸네일형 리스트형 논문 훑어보기 - Hugging Face 최신 논문 + CVPR 2024 OCC (24.07.30) AK가 업로드하는 Hugging face의 7월 26일 자 신규 논문 중 관심 있는 논문 1건과,CVPR 2024 논문 중 Occupancy Prediction을 다루는 연구 중, 관심 가는 논문 3건을 훑어보고자 한다. 가볍게 읽으려고 논문을 펼쳐도 궁금한 디테일들이 보이고, 파악하려고 거듭 읽고 코드를 보다 보면 시간이 많이 필요하다.주 목적은 개인 연구를 하는 거고, 어떤 연구가 진행되고 어떤 논문이 나오는 지 트렌드 파악을 위한 목적이기에, 깊게 보지 않으려고 한다. 1 | 명령어를 주었을 때, 특정 영역을 적절하게 수정하여 생성해주는 생성모델연구.문자열을 주고, 어떤 이미지나 공간을 바꾸라고 명령했을 때, 모델이 이를 수정해주는 작업이다. (inpainting task)이 분야에 명확한 배경.. 논문 훑어보기 - Hugging Face 최신 논문 (24.07.25) Hugging face에서 근 며칠 간의 논문 중 눈에 들어오는 논문을 간단하게 읽고 정리하고자 합니다.논문을 구체적으로 파악하지 않고, 자의적으로 해석하기에, 잘못된 해석의 여지가 있습니다. 1 | NVIDIA LLM 모델 Nemotron의 Fine-tunning 방법론 연구.Scale과 크기가 다른 다양한 LLM 모델을 학습하고 사용하기 위해서, 각각을 모델을 Scratch로 학습하는 건 비효율적이다.제안 방법은 기 학습된 모델을 기존 학습 데이터의 3% 미만의 조각으로 학습하는 걸 대체 방법으로 제안한다.이를 위해, 가지치기 기반의 재학습을 통해, depth, width, attention, MLP를 조합하는 방식을 제안한다고 한다.( 정확히 어떠한 의미를 갖는 지는 잘 모르겠다. ) 위 그림처럼.. 이전 1 다음
