이름 추상적인 주제
2024년 5월 31일 LLM은 고차원 정신 이론 게임에서 성인 인간의 성과를 달성합니다 이 논문에서는 LLM(대형 언어 모델)이 ToM(고차원 정신 이론)을 개발한 정도를 조사합니다. 마음이론
2024년 5월 30일 JINA CLIP: 귀하의 CLIP 모델은 또한 귀하의 검색기입니다 CLIP(Contrastive Language-Image Pretraining)는 이미지와 텍스트를 고정 크기 벡터에 매핑하여 공통 임베딩 공간에 정렬하도록 모델을 훈련하는 데 널리 사용됩니다. 다중 모드 모델
2024년 5월 30일 Parrot: 의미를 활용하여 LLM 기반의 효율적인 제공 대규모 언어 모델(LLM)의 등장으로 LLM과 기존 소프트웨어의 장점을 결합한 새로운 소프트웨어 패러다임인 LLM 기반 애플리케이션(일명 AI 에이전트 또는 부조종사)이 가능해졌습니다. LLM 에이전트
2024년 5월 30일 이에 따라: 작은 참조 모델을 사용하여 데이터 정리 이 연구에서는 소규모 언어 모델이 대규모 언어 모델의 성능을 향상시키는 대규모 텍스트 데이터 세트의 고품질 하위 집합을 결정할 수 있는지 여부를 조사합니다. 소규모 언어 모델
2024년 5월 30일 GNN-RAG: 권위있는 사용자 기능을 사용하기 위해 그래프를 검색합니다. 지식 그래프(KG)는 인간이 만든 사실적 지식을 세 쌍(머리, 관계, 꼬리)의 형태로 나타내며, 이를 집합적으로 그래프로 구성합니다. 지식 그래프의 RAG
2024년 5월 29일 자체 추구 언어 모델: 온라인 선택을 선호하는 유도 특히 RLHF(인간 피드백 강화 학습)를 통한 선호도 최적화는 인간 의도를 준수하도록 LLM(대형 언어 모델)을 정렬하는 데 상당한 성공을 거두었습니다. 정렬, 선호도 최적화
2024년 5월 28일 OpenRLHF: 사용하기 쉬운 확장형 복합 RLHF 프레임워크 대규모 언어 모델(LLM)이 확장 법칙에 따라 지속적으로 성장함에 따라 인간 피드백을 통한 강화 학습(RLHF)은 뛰어난 성능으로 인해 큰 주목을 받았습니다. RLHF, 툴킷
2024년 5월 28일 LLAMA-NAS: 권위있는 언어 모델을 절약하기 위해 편집하기 자연어 처리, 복잡한 추론, 정서 분석 및 기타 작업을 해결하는 현대 대형 언어 모델(LLM)의 능력은 탁월하여 광범위한 채택을 촉발했습니다. 신경 아키텍처 검색, 모델 크기 감소
2024년 5월 28일 Don?셳 연결하는 것을 잊지 마세요! RAG(검색 증강 생성)는 기존 문서의 컨텍스트를 기반으로 생성을 기반으로 LLM(대형 언어 모델) 응답 성능을 크게 향상시켰습니다. 추론을 위한 RAG
2024년 5월 27일 Meteor: 대규모 언어 및 비전 모델에 대한 Mamba 기반 이론적 근거 탐색 LLVM(대규모 언어 및 비전 모델)의 급속한 개발은 시각적 명령 조정의 발전에 의해 주도되었습니다. 상태공간 모델, 다중 모드 모델
2024년 5월 27일 비전 언어 소개 최근 LLM(대형 언어 모델)의 인기에 따라 이를 시각적 영역으로 확장하려는 여러 시도가 이루어졌습니다. 다중모달 모델, 설문조사
2024년 5월 27일 마트료시카 다수 편집 사진 LLaVA와 같은 LMM(Large Multimodal Model)은 시각적 언어 추론에서 강력한 성능을 보여주었습니다. 다중 모드 모델
2024년 5월 27일 Trans-LoRA: 데이터 없는 전송을 목적으로 하는 효율적인 선별을 지향합니다. LoRA(낮은 순위 어댑터) 및 그 변형은 소수의 추가 매개변수만 필요로 하면서 전체 모델 미세 조정 성능과 거의 일치하는 널리 사용되는 PEFT(매개변수 효율적 미세 조정) 기술입니다. PEFT 방법, 미세 조정
2024년 5월 26일 언어 모델 변경을 위한 자체 활동 기본 설정 최적화 Bradley-Terry 모델과 같은 파라메트릭 모델에 의존하는 인간 피드백을 통한 전통적인 강화 학습(RLHF) 접근 방식은 인간 선호도의 비전환성과 비합리성을 포착하는 데 부족합니다. 정렬, 최적화
2024년 5월 23일 모든 언어 기능이 있는 것은 아닙니다. 최근 작업에서는 선형 표현 가설을 제안했습니다. 즉, 언어 모델은 활성화 공간에서 개념(?쐄특성??)의 1차원 표현을 조작하여 계산을 수행합니다. 이와 대조적으로 우리는 일부 언어 모델 표현이 본질적으로 다차원일 수 있는지 탐구합니다. 우리는 독립적이거나 동시 발생하지 않는 저차원 기능으로 분해될 수 있는지 여부에 따라 환원 불가능한 다차원 기능에 대한 엄격한 정의를 개발하는 것부터 시작합니다. 이러한 정의에 동기를 부여하여 다음을 사용하는 확장 가능한 방법을 설계합니다. 선형 표현 분석
2024년 5월 23일 AlignGPT: 다목적 기능을 사용하여 다양한 크기의 언어 모델 MLLM(Multimodal Large Language Model)은 AGI(Artificial General Intelligence) 탐색에 중요한 것으로 널리 알려져 있습니다. 정렬, 다중 모드 모델
2024년 5월 23일 HippoRAG: 신경생물학적으로 권위를 갖는 언어 모델을 장기 기억 적대적이고 끊임없이 변화하는 자연 환경에서 번성하기 위해 포유류의 두뇌는 세상에 대한 많은 양의 지식을 저장하고 치명적인 망각을 피하면서 지속적으로 새로운 정보를 통합하도록 진화했습니다. RAG 최적화
2024년 5월 21일 OmniGlue: 기본 모델 지침과 일반화 지원 기능 일치 이미지 매칭 분야에서는 기존 벤치마크에서 성능이 계속 향상되면서 새로운 학습 가능한 특징 매칭 기술이 지속적으로 출현하고 있습니다. 다중 모드 모델
2024년 5월 20일 MoRA: 선별적으로 소수만을 선별하여 상위 업데이트를 진행합니다. LoRA(낮은 순위 적응)는 LLM(대형 언어 모델)에 널리 사용되는 PEFT(매개변수 효율적 미세 조정) 방법입니다. PEFT 접근법, 미세 조정
2024년 5월 19일 변환기는 비밀리에입니다 본 논문에서는 GPT, LLaMA, OPT, BLOOM 등의 모델을 포함하여 트랜스포머 디코더에만 있는 새로운 선형 특성을 밝힙니다. 변압기 분석
2024년 5월 18일 LoRA 연구소 구축 및 융합을 위한 모듈식 LLM을 향하여 기본 LLM(대형 언어 모델)의 매개변수 효율적인 적응이 증가함에 따라 훈련된 어댑터를 재사용하여 새로운 작업의 성능을 향상시킬 수 있는지 여부를 연구해야 합니다. PEFT 접근법, 미세 조정, 툴킷
2024년 5월 16일 카멜레온: + + 수평 밑 베이스 모델 임의의 순서로 이미지와 텍스트를 이해하고 생성할 수 있는 초기 융합 토큰 기반 혼합 모드 모델 제품군인 Chameleon을 소개합니다. 다중 모드 모델, 기초 모델
2024년 5월 16일 다중 기반 모델의 다중 장면별 학습 대규모 언어 모델은 ICL(Few-Shot In-Context Learning)에 효과적인 것으로 잘 알려져 있습니다. ICL, 다중 모드 모델
2024년 5월 15일 LoRA는 제거됩니다. LoRA(Low-Rank Adaptation)는 대규모 언어 모델에 널리 사용되는 매개변수 효율적인 미세 조정 방법입니다. PEFT 접근법, 미세 조정
2024년 5월 14일 온라인 교체와 다르게 대응하는 기능은 이해됩니다. 인간 피드백을 통한 강화 학습(RLHF)은 대규모 언어 모델 정렬을 위한 표준 프레임워크입니다. 조정
2024년 5월 13일 RLHF 작업: 보상 모형에서 온라인 RLHF까지 이 기술 보고서에서는 인간 피드백을 통한 온라인 반복 강화 학습(RLHF)의 워크플로우를 제시합니다. 이는 최근 LLM(대형 언어 모델) 문헌에서 오프라인 대응보다 훨씬 뛰어난 성능을 보인다고 널리 보고되었습니다. 선호도 최적화, RLHF
2024년 5월 2일 PROMETHEUS 2: 다른 언어 모델 평가에 특화된 오픈소스 언어 모델 GPT-4와 같은 독점 LM은 다양한 LM의 응답 품질을 평가하는 데 종종 사용됩니다. 평가, 에이전트
2024년 5월 2일 WILDCHAT: 계속해서 대화를 나누세요 100만 개 GPT-4 및 ChatGPT와 같은 챗봇은 현재 수백만 명의 사용자에게 서비스를 제공하고 있습니다. 벤치마크, 평가
2024년 5월 2일 군대 확산: 연주 이미지 및 비디오 제작을 환영합니다. 최근 확산 기반 생성 모델의 경우 생성된 일련의 이미지, 특히 피사체와 복잡한 세부 정보가 포함된 이미지에서 일관된 콘텐츠를 유지하는 것은 중요한 과제입니다. 다중 모드 모델, 확산
2024년 5월 2일 FLAME: 보존 언어 모델을 인정해야 합니다. 정렬은 사전 훈련된 대형 언어 모델(LLM)을 미세 조정하여 자연어 지침을 따르고 유용한 AI 보조자 역할을 하는 표준 절차입니다. 정렬, 사실성
2024년 5월 2일 NeMo-Aligner: 효율적인 방향 전환을 위한 확장형 툴킷 LLM(대형 언어 모델)을 인간의 가치 및 선호 사항에 맞추는 것은 LLM을 유용하고 안전하게 만드는 데 필수적입니다. 정렬, 툴킷
2024년 5월 1일 편집 배치 크기가 클수록 항상 더 좋습니까? 본 연구에서는 최신 대형 언어 모델인 Llama-3를 중심으로 타겟 모델 편집 분석을 제시합니다. 모델 편집
2024년 5월 1일 LoRA Land: GPT-4와 경쟁하는 310개의 미세 조정된 LLM, 기술 보고서 LoRA(Low Rank Adaptation)는 LLM(Large Language Models)의 PEFT(Parameter Efficient Fine-Tuning)에 가장 널리 채택되는 방법 중 하나로 부상했습니다. PEFT 접근법, 미세 조정