Langchain + TypeScript + Openai
1 .Введение :
Проект состоит в создании нового кода на основе существующего кода на TypeScript (scripts/ingest-web.ts) на базе langchain.Новый код должен быть в состоянии создавать базу embeddings по секциям текста, а также обеспечивать актуальность этой базы при повторном запуске.ВтораяОбзор требовал:
Программное обеспечение должно иметь следующие функции и возможности:
- Циклический проход по всем разделам текста, доступных по ссылке https://www.uscis.gov/policy-manual/table-of-contents.
- создание embeddings из текста каждого раздела и запись их в векторную базу данных.Проверка количества токенов в тексте.Если количество токенов превышает 15 000, то embeddings должны быть разделены на части, каждая из которых будет содержать не более 15 000 токенов.- Создание хеша из текста или использование другого соответствующего метода сравнения текста при повторном запуске.Если текст изменился, подписи должны быть перегенерированы.3 .Архитектура и компоненты:
Программное обеспечение должно иметь такую структуру и основные компоненты:
- Основный компонент: файл ingest-web.ts, модифицированный для реализации новых требований.- Компонент базы данных: Векторная база данных, в которую будут записываться embeddings.4 .Интерфейсы :
Программное обеспечение должно взаимодействовать с внешними системами и сторонними программами следующим образом:
- Взаимодействие с веб-страницей на https://www.uscis.gov/policy-manual/table-of-contents для получения текста раздела.- Интеграция с базой данных для записи embeddings.5 .Безопасность :
Программное обеспечение должно соответствовать следующим требованиям безопасности и механизмам защиты данных:
Защита данных, хранящихся в векторной базе данных от несанкционированного доступа.- Защита от возможных уязвимостей и приступов, таких как инъекции или переполнение буфера.6 .Тестирование :
Программное обеспечение должно быть тестировано с использованием следующего плана тестирования:
- Автоматизированное тестирование для проверки создания embeddings и их записи в базу данных.- Тестирование производительности для оценки времени, необходимого для создания embeddings и записи их в базу данных.7 .Риски и управление проектом:
Выявляются следующие возможные риски и способы их управления:
- Риск: Изменение структуры веб-страницы по ссылке https://www.uscis.gov/policy-manual/table-of-contents.
Управление: Регулярное мониторинг изменений структуры страницы и обновление кода по потребностям.- Риск: Нарушение безопасности данных векторной базы данных.Управление: Применение механизмов защиты данных, таких как шифрование и авторизация доступа.8 .Ресурсы и график:
Для реализации проекта есть такие ресурсы:
- Команда разработчиков, включая разработчиков, тестировщиков
Пожалуйста, уточните, если у вас есть вопросы или нужна дополнительная информация.
-
Арсен Гуцал SOFTSKY
Яка саме база даних повинна використовуватись?
Команда програмістів і тестувальників за 5000 грн. Ви це серйозно?
-
Актуальные фриланс-проекты в категории Javascript и Typescript
Создать макет сайта по кофейной продукции
3000 UAH
Мне нужно создать однотипный сайт для проекта по дипломной работе, не вычурно, но и не банально. Чтобы была возможность регистрации, корзина, сам продукт, как на макете. Больше уточнений можно узнать в чате. HTML и CSS верстка, Javascript и Typescript ∙ 44 минуты назад ∙ 17 ставок |
Full-stack разработка — Amazon PPC Dashboard (Stage 1)Нужен full-stack разработчик с опытом работы с Amazon API для реализации Stage 1 внутреннего PPC-дашборда. Проект реальный, данные живые, всё готово к старту. Прототип фронтенда (5 страниц, React + TypeScript): ЧТО УЖЕ ГОТОВО — Фронтенд-прототип на React 18 + TypeScript + Vite… Javascript и Typescript, Веб-программирование ∙ 12 часов 22 минуты назад ∙ 17 ставок |
Разработка сайта-конструктора фотокниг и фоторамокЦель проекта Необходимо разработать современный веб-сайт для заказа фотокниг, фоторамок и другой персонализированной фотопродукции. Главная задача проекта — предоставить клиенту возможность самостоятельно создать готовый макет изделия непосредственно на сайте без участия… Javascript и Typescript, Веб-программирование ∙ 2 дня 4 часа назад ∙ 90 ставок |
Full-stack разработкаНужен full-stack разработчик, который свободен для дел и не захочет сразу разбогатеть на этом проекте. Это мой тестовый сайт: readyhome.ge прототип которого я хочу сделать (не имею в виду дизайн). В футере русс.яз, заполните опросник и перейдите на конфигуратор. Вот описание… Javascript и Typescript, Веб-программирование ∙ 2 дня 17 часов назад ∙ 79 ставок |
Команда для самописного маркетплейса ритуальных услуг.Ищем команду для запуска и развития самописного национального маркетплейса ритуальных услуг. Сразу: не ищем одиночек, джунов и “сборщиков сайтов”. Нужна сильная продуктовая команда уровня middle+/senior с реальными кейсами маркетплейсов/сложных SaaS. Просьба не откликаться,… Javascript и Typescript, Веб-программирование ∙ 2 дня 22 часа назад ∙ 25 ставок |