이름 요약 주제
2024년 2월 28일 Sora: 휴대용 비전 모델의 배경, 기술, 헬리콥터 및 기회에 대한 검토 이 논문은 OpenAI가 출시한 텍스트-비디오 생성 AI 모델인 Sora에 대한 철저한 분석을 제공합니다. 다중 모드 모델
2024년 2월 28일 OpenCodeInterpreter: 실행 및 개선과 코드 생성 통합 이 문서에서는 GPT-4 코드 인터프리터와 같은 고급 시스템과 유사한 실행 기능과 반복적 개선을 통합하여 코드 생성 시 기존 오픈 소스 모델의 한계를 해결하는 것을 목표로 하는 오픈 소스 코드 시스템 제품군인 OpenCodeInterpreter를 소개합니다. 작업별 LLM, 평가
2024년 2월 27일 LLM 상담원의 장기 대화 기억 평가 이 문서에서는 대규모 언어 모델과 검색 증강 생성 기술을 사용하여 최대 35개 세션에 걸쳐 고품질의 매우 장기적인 대화를 생성하는 기계-인간 파이프라인을 소개합니다. RAG, 벤치마크, 긴 컨텍스트
2024년 2월 27일 축소 및 LLM 소음이 줄어들 때: 데이터, 소음 및 소음 방법의 효과 이 문서에서는 LLM에 대한 다양한 미세 조정 방법의 확장 속성을 조사합니다. 미세 조정
2024년 2월 27일 1비트 LLM 시대: 모든 언어 모델은 1.58비트입니다. 이 문서에서는 모든 매개변수가 삼항 {-1, 0, 1}인 변형인 BitNet b1.58을 소개합니다. 이 변형은 상당한 비용 효율성을 제공하는 동시에 복잡성과 최종 작업 성능 모두에서 완전 정밀도 Transformer LLM과 일치합니다. 비용 효율적인 LLM
2024년 2월 26일 Rainbow Teaming: 임의의 내용을 생성합니다 이 논문에서는 LLM의 견고성을 향상시키기 위해 적대적 프롬프트를 다양하게 생성하는 방법인 Rainbow Teaming을 소개합니다. 레드팀
2024년 2월 26일 수족관 모델이 작업을 수행하려고 합니까? 이 연구에서는 LLM이 복잡한 프롬프트를 처리할 때 잠재 다중 홉 추론에 관여하는지 여부를 조사합니다. 평가
2024년 2월 26일 LLM의 인간 학습을 REINFORCE 스타일 최적화 재검토 이 논문에서는 대규모 언어 모델 LLM 정렬에 필수적인 RLHF(사람 피드백을 통한 강화 학습)에 대해 논의합니다. 명령어 튜닝
2024년 2월 23일 매우 긴 충전식 기억력을 갖춘 배터리 에이전트 이 논문에서는 실험에서 효과적인 컨텍스트 길이를 최대 20배까지 크게 확장하는 혁신적인 LLM 시스템인 ReadAgent를 소개합니다. LLM 에이전트
2024년 2월 22일 MobileLLM: 기기 내 사용 자랑을 위한 10억 별도의 특정 언어 모델 최적화 이 문서에서는 10억 개 미만의 매개변수가 있는 모델에 중점을 두어 모바일 장치에서 효율적인 LLM의 필요성을 다룹니다. 더 작은 모델
2024년 2월 22일 공개 3 안정성.ai는 최신 텍스트-이미지 모델인 Stable Diffusion 3의 초기 미리보기를 발표했으며 다중 주제 프롬프트, 이미지 품질 및 철자 능력이 크게 향상되었습니다. 다중 모드 모델
2024년 2월 21일 대응 언어 모델(LLM)이 (거의) 모든 것을 행사하고 표시하도록 하기 이 백서는 "탈옥"을 넘어 LLM에 대한 적대적 공격의 범위를 확장하여 다양한 공격 표면과 목표를 강조합니다. 레드팀
2024년 2월 21일 LongRoPE: 2백만 개의 의미 이상으로 LLM 컨텍스트 창 확장 이 백서에서는 사전 훈련된 LLM의 컨텍스트 창을 인상적인 2048k 토큰으로 확장하여 현재 확장된 컨텍스트 창의 한계를 극복하는 LongRoPE를 소개합니다. 긴 컨텍스트, 임베딩
2024년 2월 21일 Gemma: Gemini 연구 및 기술을 기반으로 한 개방형 모델 이 작품에서는 Gemini 모델 제작에 사용된 연구와 기술을 바탕으로 제작된 경량의 최첨단 개방형 모델 제품군인 Gemma를 소개합니다. 기초 LLM
2024년 2월 21일 데이터를 호환하는 문자열 모델: 센서조사 이 논문은 기계 학습에서 노동 집약적인 프로세스인 데이터 주석 자동화를 위해 GPT-4와 같은 고급 LLM을 활용하는 데 중점을 둡니다. 작업별 LLM
2024년 2월 21일 11M 건초 민간인의 임무 찾기: 순환 메모리는 LLM이 앉아친 것을 찾고 있습니다 이 논문에서는 긴 문서에 대한 생성 변환기 모델의 처리 기능을 평가하기 위해 설계된 벤치마크인 BABILong을 소개합니다. 벤치마크, 긴 컨텍스트
2024년 2월 20일 대응 언어 모델: 설문조사 이 문서에서는 2022년 11월 ChatGPT가 출시된 이후 LLM에 대한 포괄적인 검토를 제공합니다. 주요 LLM 제품군(GPT, LLaMA, PaLM), 해당 특성, 기여도 및 제한 사항과 함께 LLM 구축 및 강화 기술에 대해 논의합니다. LLM 설문조사
2024년 2월 19일 LongAgent: 다중 에이전트를 통해 언어 모델을 128k 확장으로 확장 이 문서에서는 다중 에이전트 협업을 사용하여 LLaMA와 같은 LLM을 확장하여 최대 128K 토큰까지 긴 텍스트를 처리하는 방법인 LongAgent를 소개합니다. LLM 에이전트
2024년 2월 19일 LoRA+: 대형 모델의 효율성을 갖춘 하이브리드 하이브리드 이 논문에서는 동일한 학습 속도로 어댑터 행렬 A와 B를 업데이트하기 때문에 LoRA(Low Rank Adaptation)를 사용하여 너비(임베딩 차원)가 큰 모델에서 최적이 아닌 미세 조정을 식별합니다. PEFT
2024년 2월 15일 제작적 표현 지침 조정 이 논문에서는 GRIT(Generative Representational Instruction Tuning)를 소개하여 대규모 언어 모델이 명령어를 통해 생성 작업과 임베딩 작업을 구별함으로써 두 작업 모두에서 탁월한 성능을 발휘할 수 있도록 합니다. RAG, 명령어 튜닝
2024년 2월 15일 무한한 행동을 할 가능성이 있다 이 연구는 고유한 CoT(사고 사슬) 추론 경로를 찾아내기 위해 디코딩 프로세스를 변경함으로써 명시적인 프롬프트 없이 대규모 언어 모델의 추론 능력을 향상시킵니다. 신속한 엔지니어링
2024년 2월 15일 Gemini 1.5: 수백만 개의 범위에 대한 다중 모드 이해 잠금해제 이 보고서는 긴 문서와 비디오를 포함하여 방대한 양의 맥락을 기억하고 추론하는 데 탁월한 효율성을 자랑하는 다중 모드 모델인 Gemini 1.5 Pro를 소개합니다. 기초 LLM
2024년 2월 15일 이 논문에서는 사전 훈련된 이미지 인코더, 텍스트, 네거티브 예제 또는 재구성에 의존하지 않고 특징 예측 목표를 사용하여 비디오 데이터에만 훈련된 비전 모델 모음인 V-JEPA를 소개합니다. 다중 모드 LLM
2024년 2월 13일 Ring Attention을 사용하는 수백만 길이의 비디오 및 언어에 대한 세계 모델 이 논문은 복잡하고 긴 형식의 작업에 대한 이해를 높이기 위해 비디오 시퀀스를 사용한 공동 모델링 접근 방식을 제안함으로써 현재 언어 모델의 한계를 다루고 있습니다. 다중 모드 LLM
2024년 2월 10일 ChemLLM: 대응 언어 모델 이 논문에서는 구조화된 화학 데이터를 일관성 있는 대화로 통합하는 문제를 해결하기 위해 특별히 화학 응용 분야에 맞게 맞춤화된 최초의 대규모 언어 모델인 ChemLLM을 소개합니다. 작업별 LLM
2024년 2월 6일 LLM 에이전트는 자동으로 웹사이트를 이용할 수 있습니다 이 논문은 LLM, 특히 GPT-4가 취약성에 대한 사전 지식 없이 블라인드 데이터베이스 스키마 추출 및 SQL 주입과 같은 웹사이트 해킹 작업을 자율적으로 수행할 수 있는 기능을 보유하고 있음을 보여줍니다. LLM 에이전트
2024년 2월 6일 AnyTool: API 호출을 지원하는 주체 반사적, 주체 에이전트 이 백서는 사용자 쿼리를 효율적으로 처리하기 위해 Rapid API에서 제공되는 16,000개 이상의 API 활용도를 향상시키도록 설계된 대규모 언어 모델 에이전트인 AnyTool을 소개합니다. LLM 에이전트
2024년 2월 6일 사용자는 서로 관계를 맺는 방식을 공유합니다. 이 논문에서는 사고 사슬 및 자기 일관성과 같은 직접 추론(DR) 프레임워크의 한계를 넘어 LLM의 추론 기능을 향상시키는 새로운 간접 추론(IR) 방법을 소개합니다. 신속한 엔지니어링
2024년 2월 6일 사용자 등록: 파일 이름 자체 작성 구조 이 논문에서는 LLM이 작업별 추론 구조를 자율적으로 식별하여 BigBench-Hard 및 MATH와 같은 까다로운 추론 벤치마크의 성능을 향상시키는 프레임워크인 SELF-DISCOVER를 소개합니다. 신속한 엔지니어링
2024년 2월 6일 DeepSeekMath: 개방형 언어 모델에서 수식적으로 허용되는 것을 뛰어 넘다 이 논문에서는 Common Crawl에서 가져온 대규모 데이터 세트를 사용하여 사전 학습을 계속함으로써 수학적 추론 문제를 해결하도록 설계된 모델인 DeepSeekMath 7B를 소개합니다. 작업별 LLM
2024년 2월 4일 테이블 처리를 호환하는 언어 모델: 센서조사 이 설문조사는 테이블 QA 및 사실 확인과 같은 기존 영역은 물론 테이블 조작 및 고급 데이터 분석과 같은 새로운 측면을 포함하여 테이블 중심 작업과 이를 자동화하기 위한 LLM 활용에 대한 포괄적인 개요를 제공합니다. 작업별 LLM
2024년 2월 3일 더 많은 요원이 필요합니다. 이 문서에서는 간단한 샘플링 및 투표 방법을 사용하여 인스턴스화된 에이전트 수를 확장함으로써 LLM의 성능을 향상시킬 수 있음을 보여줍니다. LLM 에이전트
2024년 2월 1일 OLMo: 설명서 편집 기록 OLMo는 LLM에 대한 신속한 실험과 이해를 위한 플랫폼을 제공하여 언어 모델의 과학을 가속화하는 것을 목표로 합니다. 오픈 소스 LLM