제목	요약	주제
2024년 4월 30일	Octopus v4: 언어 모델 그래프	이 문서에서는 기능 토큰을 활용하여 특정 작업에 최적화된 여러 오픈 소스 언어 모델을 통합하는 새로운 접근 방식인 Octopus v4를 소개합니다.	기초 LLM
2024년 4월 30일	다중 해석을 예측하여 더 빠른 설명을 할 것입니다	본 논문에서는 여러 미래 토큰을 동시에 예측하여 훈련 시간을 늘리지 않고도 샘플 효율성을 향상시키는 훈련 언어 모델을 제안합니다.	새로운 아키텍처
2024년 4월 30일	Llama-3의 교외를 사이에 10배 확장	Llama-3-8B-Instruct 모델의 컨텍스트 길이는 효율적인 QLoRA 미세 조정을 통해 8K에서 80K로 확장되어 단일 8xA800 GPU 시스템에서 단 8시간만 필요합니다.	컨텍스트 길이
2024년 4월 29일	다음을 배심원으로 대체: 다양한 모델 패널을 통해 LLM 독자 평가	이 문서에서는 GPT-4와 같은 단일 대형 모델에 의존하는 대신 PoLL(LLM 평가자 패널) 사용을 제안하여 LLM 품질을 정확하게 평가하는 과제를 다룹니다.	평가
2024년 4월 28일	AdvPrompter: LLM을 빠른 범용 형태의 구성원	이 문서에서는 LLM에 대한 탈옥 공격을 해결하기 위해 AdvPrompter라는 사람이 읽을 수 있는 적대적 프롬프트를 생성하는 새로운 방법을 제시합니다.	적대적 공격, 평가
2024년 4월 28일	코프 범위에서 Gemini의 유능한 능력	의료 작업을 위한 전문 다중 모드 모델인 Med-Gemini는 다양한 벤치마크에서 GPT-4를 능가하여 의료 텍스트 요약 및 질문 답변 분야에서 최첨단 결과를 달성했습니다.	도메인별 LLM
2024년 4월 25일	GPT-4V는 얼마나 멀리 있습니까?	오픈 소스 다중 모드 대형 언어 모델(MLLM)인 InternVL 1.5는 다중 모드 이해에 있어 오픈 소스와 독점 상용 모델 간의 격차를 해소합니다.	다중 모드 LLM
2024년 4월 25일	LLM이 상황을 최대한 활용하도록 하세요	이 문서에서는 현대 LLM이 직면한 중간 문제를 해결하기 위한 정보 집약적(IN2) 교육을 소개합니다.	컨텍스트 길이
2024년 4월 25일	SEED-Bench-2-Plus: 텍스트가 풍부한 설명 이해력을 최대한 활용하는 대형 모드 모델 벤치마킹	이 작업에서는 MLLM(Multimodal Large Language Model)의 텍스트가 풍부한 시각적 이해를 평가하기 위해 특별히 맞춤화된 벤치마크인 SEED-Bench-2-Plus를 소개합니다.	다중 모드 LLM
2024년 4월 23일	AURORA -M: 미국 동네 몬스터에 따라 레드팀으로 초기의 오픈 소스 다국어 언어 모델	본 논문에서는 영어, 핀란드어, 힌디어, 일본어, 베트남어 및 코드를 학습한 다국어 오픈 소스 언어 모델인 AURORA -M을 제시합니다.	도메인별 LLM
2024년 4월 23일	특수 전문가 구성	이 문서에서는 SMoE(Sparse Mixtures of Experts)의 문제, 특히 낮은 전문가 활성화 및 세분화된 분석 기능 부족 문제를 해결하기 위해 MH-MoE(Multi-Head Mixture-of-Experts)를 소개합니다.	새로운 아키텍처
2024년 4월 22일	Phi-3 기술 검토: 휴대전화에서 반대 방향으로 실행하는 호환 버전 모델	이 문서에서는 Mixtral 8x7B 및 GPT-3.5와 같은 대형 모델과 유사한 경쟁력 있는 성능을 제공하는 3조 3천억 개의 토큰으로 훈련된 소형 38억 개의 매개변수 언어 모델인 phi-3-mini를 소개합니다.	기초 LLM
2024년 4월 22일	낮은 비트 양자화 LLaMA3 모델은 얼마나 좋은가요?	이 문서에서는 리소스가 제한된 시나리오에 필수적인 낮은 비트 양자화에서 Meta의 LLaMA3 LLM 성능을 살펴봅니다.	양자화
2024년 4월 22일	FlowMind: LLM을 통한 자동 작업 흐름 생성	이 문서에서는 GPT(Generative Pretrained Transformers)와 같은 LLM을 활용하여 RPA(로보틱 프로세스 자동화)에서 워크플로 생성을 자동화하고 자발적인 작업 처리의 한계를 극복하는 FlowMind를 소개합니다.	LLM 에이전트
2024년 4월 22일	SnapKV: LLM은 독서 이전에 귀하가 무엇을 찾고 있는지 알고 있습니다.	이 문서에서는 비슷한 성능을 유지하면서 LLM의 키-값(KV) 캐시 크기를 효율적으로 최소화하기 위한 미세 조정이 필요 없는 접근 방식인 SnapKV를 소개합니다.	미세 조정
2024년 4월 21일	AutoCrawler: 웹 크롤러 생성을 처리하는 이해 웹 에이전트	이 문서에서는 LLM을 크롤러와 병합하여 웹 자동화의 적응성을 향상시키는 2단계 프레임워크인 AutoCrawler를 소개합니다.	LLM 에이전트
2024년 4월 21일	Groma: 다중 대형 언어 기반을 기반으로 하는 원시적인 표현입니다.	이 문서에서는 캡션 및 시각적 접지와 같은 지역 수준 작업을 가능하게 하는 세분화된 시각적 인식 기능을 갖춘 MLLM(Multimodal Large Language Model)인 Groma를 제시합니다.	다중 모드 LLM
2024년 4월 18일	노력하고 있으며, LLM의 자기 개선을 위해	이 문서는 광범위한 데이터나 미세 조정에 의존하지 않고 LLM의 추론 및 계획 능력을 향상시키는 과제를 다룹니다.	명령어 튜닝
2024년 4월 18일	배터리 교체: 교체 번호 관련 언어 선택을 위한 서비스 모델 이전	이 논문에서는 한 소스 언어의 선호도 데이터에 대해 훈련되고 다른 대상 언어에 적용되는 보상 모델을 사용하여 언어 모델의 제로샷 교차 언어 정렬을 위한 간단한 접근 방식을 탐구합니다.	명령어 튜닝
2024년 4월 18일	MLCommons의 AI 벤치마크 v0.5 소개	이 문서에서는 채팅 조정 언어 모델의 안전 위험을 평가하기 위해 MLCommons AI Safety Working Group에서 개발한 AI 안전 벤치마크 v0.5를 제시합니다.	벤치마크, 평가
2024년 4월 16일	Octopus v2: 강력한 에이전트를 지원하는 내 언어 모델	이 연구는 정확도와 대기 시간 모두에서 GPT-4의 성능을 능가하는 20억 개의 매개변수를 갖춘 온디바이스 언어 모델을 강화하는 동시에 컨텍스트 길이를 95%까지 줄이는 새로운 방법을 제시합니다.	소규모 LLM
2024년 4월 15일	대신해야 합니다.	정렬 문제에 대한 기존 방법은 불안정하여 연구자들이 다양한 기술을 개발하게 되었습니다.	신속한 엔지니어링
2024년 4월 15일	압축을 해제합니다.	이 문서에서는 LLM의 압축과 지능 사이의 관계를 조사하여 벤치마크 점수로 측정했을 때 LLM의 외부 텍스트 말뭉치를 압축하는 능력이 지능과 거의 선형적으로 상관관계가 있음을 확인했습니다.	모델 압축
2024년 4월 14일	더 작은 교육 단위로 기반 LM 사전	이 논문에서는 변환기 블록을 상속하고 원래 사전 학습 데이터의 일부를 학습하여 더 큰 언어 모델에서 더 작은 언어 모델을 구성하는 간단한 방법인 Inheritune을 제시합니다.	소규모 LLM
2024년 4월 14일	축소(축소) CLIP: 데이터 분석, 분석 및 교육 전략에 대한 종합 분석	이 문서에서는 데이터, 아키텍처 및 교육 전략 전반에 걸쳐 제한된 계산 예산 하에서 CLIP(Contrastive Language-Image Pre-training)를 축소하는 방법을 살펴봅니다.	비전 모델
2024년 4월 12일	Megalodon: 짧은 길이를 사용하여 효율적인 LLM 사전 훈련 및 가능	Megalodon은 무제한 컨텍스트 길이로 효율적인 시퀀스 모델링을 위한 신경 아키텍처를 도입하여 Transformers의 2차 복잡성과 약한 길이 외삽 문제를 해결합니다.	컨텍스트 길이
2024년 4월 11일	RULER: 긴 컨텍스트 언어 모델의 실제 컨텍스트 크기는 무엇입니까?	긴 맥락의 언어 모델을 평가하는 데 널리 사용되는 NIAH(Needs-in-a-Haystack) 테스트는 긴 혼란스러운 텍스트에서 정보를 검색하는 능력을 평가합니다.	컨텍스트 길이
2024년 4월 11일	고대 언어 모델을 사용하는 사회성 훈련	이 관점 보고서는 전문 분야에 진입하기 위한 사회적 기술 장벽을 식별하고 일반적인 프레임워크를 통해 사회적 기술 훈련을 위한 대규모 언어 모델을 활용하는 솔루션을 제시합니다.	조정
2024년 4월 11일	Rho-1: 모든 것이 의미하는 것은 아닙니다	전통적인 언어 모델 사전 훈련 방법은 모든 토큰을 동일하게 취급하지만, 우리 연구에서는 모든 토큰이 동일하게 중요하지 않음을 보여줌으로써 이에 도전합니다.	새로운 아키텍처
2024년 4월 11일	RecurrentGemma: 효율적인 개방형 언어 모델을 사용하여 과거의 변환기 이동	이 논문에서는 Google의 새로운 Griffin 아키텍처를 사용하는 개방형 언어 모델인 RecurrentGemma를 소개합니다.	새로운 아키텍처
2024년 4월 11일	Ferret-v2: 해당 언어의 참조 및 기반을 기반으로 했습니다.	이 연구에서는 LLM 내 지역적 이해의 한계를 극복한 Ferret의 업그레이드 버전인 Ferret-v2를 제시합니다.	벤치마크, 평가
2024년 4월 10일	JetMoE: 100만 달러로 Llama2 성능	이 논문에서는 최소한의 리소스로 훈련된 비용 효율적이고 성능이 뛰어난 대규모 언어 모델인 JetMoE-8B를 소개합니다.	기초 LLM
2024년 4월 9일	포인터는 절대 잊지 않습니다: 고대 언어의 표 형식 데이터 암기 및 학습은 없습니다.	이 문서에서는 암기 및 과적합 문제에 초점을 맞춰 LLM이 표 형식 데이터를 처리하는 방법을 조사합니다.	도메인별 LLM
2024년 4월 9일	이벤트를 처리하는 경우: Infini-Attention을 효율적으로 사용할 수 없는 확장 변환기	이 연구에서는 제한된 메모리와 계산을 사용하여 Transformer 기반 LLM을 무한히 긴 입력으로 확장하는 효율적인 방법을 소개합니다.	컨텍스트 길이
2024년 4월 8일	LLM2Vec: 파일 이름이 비밀리에 작동하도록 합니다.	대규모 LLM(디코더 전용 언어 모델)은 NLP 작업에 탁월하지만 텍스트 임베딩에는 활용도가 낮습니다.	새로운 아키텍처
2024년 4월 7일	검색 스트림(SoS): 언어 검색 학습	본 논문에서는 프로세스를 언어로 표현하여 검색을 언어 모델에 가르치는 SoS(Stream of Search)의 개념을 소개합니다.	도메인별 LLM
2024년 4월 4일	장기 상황 내에서 학습으로 어려움을 겪는 장기 상황 LLM	이 연구에서는 극단적인 레이블 분류 영역 내에서 긴 상황 내 학습에 초점을 맞춘 전문 벤치마크인 LongICLBench를 소개합니다.	컨텍스트 길이
2024년 4월 4일	ReFT: 언어 모델을 표현한 표현	이 문서에서는 대규모 언어 모델을 적응시키기 위한 PEFT(매개변수 효율적인 미세 조정) 방법의 대안으로 ReFT(Representation Finetuning) 방법을 소개합니다.	미세 조정, PEFT
2024년 4월 4일	신경압축을 위한 LLM 교육	이 문서에서는 신경 텍스트 압축기를 사용하여 고도로 압축된 텍스트에 대한 LLM 교육을 살펴봅니다.	모델 압축
2024년 4월 4일	코드 편집자: 편집 기능의 편집 기능 평가	이 문서에서는 디버깅, 번역, 폴리싱, 요구 사항 전환을 포함한 코드 편집 작업에서 LLM의 성능을 엄격하게 평가하도록 설계된 평가 프레임워크인 CodeEditorBench를 소개합니다.	평가
2024년 4월 4일	11가지 안전에 따라 GPT-4V 레드팀	이 문서는 11개 안전 정책에 걸쳐 1445개의 유해 질문으로 구성된 포괄적인 탈옥 평가 데이터 세트를 제공합니다.	레드팀
2024년 4월 4일	RALL-E: 경찰의 변형을 일러스트레이션하는 모습을 보여줍니다.	RALL-E는 텍스트 음성 변환(TTS) 합성을 위한 강력한 언어 모델링 접근 방식을 제시하여 불안정한 운율 및 높은 단어 오류율(WER)과 같은 LLM의 견고성이 떨어지는 문제를 해결합니다.	신속한 엔지니어링
2024년 4월 4일	CantTalkAboutThis: 대화에서 주제를 유지하도록 언어 모델 조정	이 논문에서는 대화에서 주제 관련성을 유지하기 위해 언어 모델을 정렬하는 것을 목표로 하는 CANT TALKABOUT THIS 데이터 세트를 소개합니다.	조정
2024년 4월 3일	확장 기반 텍스트-이미지 생성의 확장에 대해 설명합니다.	이 논문은 잡음 제거 백본 및 트레이닝 세트의 스케일링에 대한 광범위한 제거를 수행하여 확산 기반 텍스트-이미지(T2I) 모델의 스케일링 특성을 경험적으로 연구합니다.	다중 모드 LLM
2024년 4월 2일	컨설턴트를 선호하는 Video 대형 다목적 모델을 직접 선호하는 최적화	본 논문에서는 상세한 비디오 캡션을 프록시로 사용하여 대규모 다중 모드 모델(LMM)을 비디오 콘텐츠와 정렬하기 위한 새로운 프레임워크를 소개합니다.	다중 모드 LLM
2024년 4월 2일	선호하는 트리를 활용한 LLM 대형론자 개발	본 논문에서는 추론에 최적화된 LLM 제품군인 EURUS를 소개합니다.	도메인별 LLM
2024년 4월 2일	분석: 변환기 기반 언어 모델에서 동적으로 컴퓨팅을 구성합니다.	이 문서에서는 변환기가 컴퓨팅을 동적으로 할당하고 모델 깊이의 레이어 전체에 걸쳐 할당을 최적화하는 방법을 소개합니다.	새로운 아키텍처
2024년 4월 1일	LLaVA-Gemma: 강력한 성분 모델 다중으로 프리미엄 기반 보존	이 문서에서는 LLM의 Gemma 제품군, 특히 2B 매개변수 Gemma 모델과 함께 LLaVA 프레임워크를 사용하여 훈련된 다중 모드 기반 모델 제품군인 LLaVA-Gemma를 제시합니다.	다중 모드 LLM