Optymalizacja wydatków na LLM API (Telegram-bot, integracje AI)

Witaj, Iwanie !
Pomogę stworzyć bota w telegramie, z uwzględnieniem Twoich życzeń i wymagań.
Mam duże doświadczenie w programowaniu w Pythonie, React i bezpośrednim tworzeniu botów z różnymi integracjami. Zajmuję 2-gie miejsce na platformie w zakresie programowania w Pythonie. Mam doświadczenie w pracy z Open AI API.
Możesz zapoznać się z moim portfolio : Freelancehunt
Czekam na Twoją odpowiedź w celu dalszej współpracy i bardziej szczegółowej dyskusji na temat Twojego projektu

Pokaż oryginał

Przetłumacz

Trzeba spojrzeć w sam projekt. Niektóre logiki można przenieść na wektorowe bazy wiedzy. Również dla promptów ustawić limity odpowiedzi w liczbie znaków. Usunąć niepotrzebne zapytania do API, dostosować temperaturę zapytań i tak dalej. Napiszcie mi, mam doświadczenie w pracy z Open AI API i z wieloma innymi API.

Pokaż oryginał

Przetłumacz

Dzień dobry. Bardzo aktualne i interesujące zadanie. Chętnie pomogę Państwu znacznie obniżyć koszty związane z LLM.
Główna strategia — wdrożenie "inteligentnego routera" zapytań. Będziemy używać modelu kaskadowego: proste i typowe zapytania będą przetwarzane przez szybkie i tanie modele, a złożone, wymagające głębokiej analizy, będą automatycznie przekierowywane do bardziej zaawansowanych i droższych modeli.
Dodatkowo zoptymalizuję Państwa prompty w celu zmniejszenia liczby tokenów i wdrożę system cache'owania dla powtarzających się zapytań. Takie kompleksowe podejście pozwoli na obniżenie kosztów każdego wywołania API o 40-70% bez widocznej utraty jakości dla użytkownika.

Pokaż oryginał

Przetłumacz

Cześć!
Optymalizacja kosztów na LLM to dokładnie to zadanie, w którym odpowiednia realizacja techniczna ma bezpośredni wpływ na budżet. Jestem gotów podjąć się tej pracy.

Moje doświadczenie obejmuje tworzenie wysokoobciążonych botów Telegram z integracją różnych AI-API i, co kluczowe, optymalizację ich działania w celu obniżenia kosztów.

Orientacyjny koszt usług: ~1 500 USD (ostateczna kwota będzie zależała od odpowiedzi na poniższe pytania i złożoności architektury).

Wstępny plan optymalizacji:
Analiza i audyt: Zbadam obecną architekturę bota, logi zapytań i strukturę promptów. Określę, które zapytania są najdroższe i dlaczego.
…
Wielopoziomowe cachowanie: Zaimplementuję system cachowania odpowiedzi (np. z Redis). Powtarzające się lub podobne zapytania nie będą wysyłane do API, a będą pobierane z cache.

Optymalizacja promptów (Prompt Engineering): Przerobię prompt, aby osiągnąć te same wyniki przy mniejszej liczbie tokenów (bardziej zwięzłe sformułowania, efektywny kontekst).

Wybór modelu do zadania: Wdrożę routowanie zapytań. Nie wszystkie zadania wymagają potężnego i drogiego modelu (jak GPT-4-turbo). Na przykład:

Proste pytania → tanie szybkie modele (GPT-3.5, Claude Haiku).

Skomplikowane zadania analityczne → mądrzejsze modele (GPT-4, Claude Sonnet).

To znacznie obniży średni koszt zapytania.

Praca z kontekstem: Optymalizuję zarządzanie kontekstem dialogu (historią wiadomości), aby nie przesyłać do API zbędnych tokenów.

Monitorowanie i analityka: Ustawię dashboard do śledzenia kosztów każdego zapytania, co pozwoli na precyzyjne identyfikowanie i eliminowanie "drogo" miejsc.

Aby zaproponować dokładne rozwiązanie i koszt, muszę zrozumieć szczegóły. Proszę odpowiedz na pytania:
Stos technologiczny: Na czym obecnie napisany jest bot? (Python, Node.js, PHP + Laravel?) Czy jest dostęp do kodu źródłowego?

Obecne koszty i wolumeny: Ile zapytań dziennie/miesięcznie przetwarza bot? Jaki jest obecny miesięczny budżet/koszt na dostawców LLM (OpenAI, Anthropic itd.)?

Scenariusze użycia: Opisz proszę główne typy zapytań użytkowników? (np. generacja tekstu, analiza dokumentów, klasyfikacja, dialog). Jaki mniej więcej procent przypada na każdy typ?

Używane modele: Jakie modele i od jakich dostawców (OpenAI GPT, Anthropic Claude, inne) są obecnie używane?

Jakość odpowiedzi: Czy są krytyczne scenariusze, w których spadek jakości odpowiedzi jest niedopuszczalny? Gdzie można trochę zaoszczędzić?

Jestem gotów omówić wszystkie szczegóły w wiadomościach prywatnych lub podczas rozmowy. Płatność może być powiązana z wynikiem — procentem od osiągniętej oszczędności.

Pokaż oryginał

Przetłumacz

Witaj! Mam doświadczenie w optymalizacji kosztów na GPT/Claude w botach Telegram. Mogę obniżyć koszt zapytania bez utraty jakości. Napisz, jakie modele obecnie używasz i jaki jest wolumen zapytań.

Pokaż oryginał

Przetłumacz

Dzień dobry, zainteresował mnie Państwa projekt. Mam duże doświadczenie w LLM. Chciałbym dowiedzieć się więcej o architekturze projektu, ile promptów jest realizowanych podczas jednego zapytania oraz jakie funkcje one pełnią.

Pokaż oryginał

Przetłumacz

Dzień dobry, zainteresował mnie Państwa projekt. Proponuję cachowanie odpowiedzi, dynamiczny wybór modelu według progów cenowych, optymalizację podpowiedzi oraz batching zapytań, a także monitorowanie zużycia. Jestem gotów omówić szczegóły.

Pokaż oryginał

Przetłumacz

Dzień dobry, Iwan

Mogę ocenić i zoptymalizować twój RAG.
Wszystkie szczegóły prześlij na PW.

Pokaż oryginał

Przetłumacz

Dzień dobry, mogę spojrzeć i zrobić wygodne fallbacki po cenie llm warunkowo, jeśli następuje nadwyżka na jednej, a druga jest mało używana, używana jest inna, która mniej wydawała pieniędzy na saldzie, a także spojrzeć, jak u was jest zorganizowane batchowanie, może będę mógł to poprawić tak, aby wydawano wielokrotnie mniej, ten sam zamiast 1 zapytania od razu 10 w 1 i rozdzielane po potrzebnych czatach warunkowo.
Potrzebne jest bardziej szczegółowe opisanie/dokumentacja projektu, jak to działa, jak skomplikowany jest projekt?

Pokaż oryginał

Przetłumacz

Cześć. Mam duże doświadczenie w tworzeniu botów na Telegramie. Chętnie pomogę.

Pokaż oryginał

Przetłumacz

Cześć.

Opracowuję boty do Telegramu w NodeJS. Mam doświadczenie z API (ChatGPT, Claude). Jestem gotów podjąć się tego. Napisz, omówimy.

Pokaż oryginał

Przetłumacz