🔸 استارتاپ Tensormesh با جذب سرمایه ۴.۵ میلیون دلاری از فاز مخفی خارج شد تا هزینه استنتاج (Inference) در مدلهای هوش مصنوعی را به شدت کاهش دهد.
🔸 این شرکت با ابزار LMCache، به جای حذف حافظه کش (KV Cache) پس از هر درخواست، آن را برای پردازشهای مشابه بعدی بازاستفاده میکند؛ شبیه به متخصصی که آموختههایش را فراموش نمیکند.
🔸 این روش هزینه استنتاج را تا ۱۰ برابر کاهش میدهد و بهخصوص برای چتباتها که به تاریخچه گفتگو نیاز دارند، بسیار کارآمد است و توجه گوگل و انویدیا را نیز جلب کرده است.
#هوش_مصنوعی #بهینه_سازی #استارتاپ