Co budujemy
- Implementujemy już wytrenowany model AI, który steruje komputerem (kontroluje kursor i klawiaturę - tak jak robi to zazwyczaj człowiek) w oprogramowaniu do modelowania 3D Onshape
- Input: prompt. ("Zrób podstawowy klocek w stylu LEGO. Powinien mieć 8 okrągłych cylindrów na górze, w 2 rzędach. Zachowaj kształt prosty i czytelny.")
- Input -> przekształca tekst na rysunek 3D modelu w izometrii przez Nano Banana 2 API
- Wytrenowany model AI oczekuje rysunku, a nie promptu, dlatego po naciśnięciu przez użytkownika "Zatwierdź" rozpoczyna się inferencja.
- Artykuł badawczy załączony
Wymagania:
- Implementować istniejący kod w tym repozytorium - https://github.com/ghadinehme/VideoCAD
- Po implementacji, podłączyć okno czatu, które przekształca tekst na obrazy przez Nano Banana 2
- Po utworzeniu czatu dodać funkcję "Zatwierdź", gdzie użytkownik ma możliwość zaakceptowania lub odrzucenia (zmiany promptu lub wskazania Nano Banana 2, co jest nie tak z rysunkiem) zaproponowanego rysunku 3D modelu
- Gotowy model ma działać na moim Macu, ale jeśli technicznie to niemożliwe - ten wymóg odpada
- Należy zdążyć do 26 marca - to mój surowy termin
Inne
- Zapłacę za całą inferencję (po projekcie lub przed rozpoczęciem).
- Trudno ocenić koszt projektu, dlatego chcę omówić zaliczkę przed projektem i drugi transz po wykonaniu
