การอัปเดตโมเดลภาษาขนาดใหญ่ (LLMs) ด้วยการฝึกซ้ำเต็มรูปแบบนั้นมีค่าใช้จ่ายสูง การปรับแต่งแบบประหยัดพารามิเตอร์ (Parameter-efficient fine-tuning - PEFT) เช่น LoRA จึงเป็นทางเลือกที่นิยม อย่างไรก็ตาม การปรับแต่งหลายครั้งทำให้เกิด LoRA adapter เฉพาะงานจำนวนมาก ซึ่งสร้างความซับซ้อนในการเลือก adapter ที่เหมาะสมในระหว่างการอนุมาน วิธีการ routing และ encoder ที่มีอยู่มักต้องมีการฝึกซ้ำเมื่อเพิ่ม adapter ใหม่ ทำให้ไม่เหมาะกับสถานการณ์ที่มีการเปลี่ยนแปลงตลอดเวลา
งานวิจัยนี้เสนอ LoRAWeaver ซึ่งแก้ปัญหานี้โดยมองว่าการเลือก adapter เป็นปัญหาการจัดแนวการนำเสนอ (representation alignment) ในพื้นที่ adapter-output วิธีการนี้เป็นแบบ training-free โดยเลือก adapter โดยการจับคู่ query representations ที่มี adapter เป็นเงื่อนไข กับ task prototypes โดยใช้ cosine similarity
ผลการทดลองกับ LLaMA-2-7B และ LLaMA-2-13B ใน 48 งาน FLAN-v2 benchmark และงานนอกการกระจายข้อมูล แสดงให้เห็นว่า LoRAWeaver มีประสิทธิภาพเหนือกว่า baseline แบบ training-free และสามารถทำได้ใกล้เคียงกับ retrieval encoder ที่ผ่านการฝึก โดยไม่ต้องเรียนรู้ router เลย การศึกษาเพิ่มเติมยังยืนยันประโยชน์ของการจัดแนวเชิงทิศทางในพื้นที่ adapter-output.