Бюджет: 20000 UAH Термін: 3 дні
Добрий день. Имею 14 лет опита на Python. Если интересует- пишите в личку, обговорим детали.
Что должен делать:
- подключение к MySQL;
- выборка изображений определённых товаров (активных);
- проверка: да/нет - существует ли оптимизированное изображение(я) у товара с таким-то id, да - пропуск, нет - выкачиваем, оптимизируем, записываем;
- мультипоточное выкачивание картинок на сервер (50-100 потоков);
- разделение потоков и файлов сразу должно происходить в разные дисковые масивы;
- оптимизировать изображения (согласно заданным параметрам);
- возможность налаживать watermark непосредственно на изображения;
- должно создаваться 3 изображения с нужными размерами и ватермарком (в формате webp)+ сжатый оригинал (на случай смены размера и ватермарка);
- если за картинкой идёт обращение с Safari - нужно отдавать jpg (конвертировать на лету webp to jpg);
- записывать в БД изменённые изображения (ссылки на эти изображения) в отдельную колонку;
Также нужно продумать оптимальную схему хранения и категоризации изображений, т.к. изображений много (больше 2,5 млн).
!!!Плюс ко всему, нужно предусмотреть масштабируемость сервера, т.к. кол-во изображений и возможно функционал будет расширяться.
Прошу читать внимательно и вдумчиво, откликаться только тех, кто действительно сможет выполнить задание! Время на попытки к сожалению нет.
Бюджет: 20000 UAH Термін: 3 дні
Добрий день. Имею 14 лет опита на Python. Если интересует- пишите в личку, обговорим детали.
пока никак
если в один жестак лупонуть 100 потоков он просто умрет ну и отдача опять таки соответственно будет при обращениях в файлам ужастная
С ssd диском нечего не случится, а для hdd предусмотрен ведь RAID. Какие сейчас установлены диски? Сколько их, если есть информацию название\модель?
сервера ещё нет, но думаем этот выбрать - https://www.hetzner.com/storage/storage-share/nx60
Это ведь обычное NAS хранилище для хранения файлов\резервных копий у которого не стоит приоритет на скорость работы (как жесткого диска так и интернет подключения), а приоритет на сохранность данных. Его используют обычно для облачного хранения.
Вот описание https://wiki.hetzner.de/index.php/Storage_Share/ru там стоит nextcloud "Доступ через SFTP или FTPS невозможен. " не говоря уже про запуск скриптов
Интересная задача
1. обойти вредный Safari можно так
<picture> <source srcset=" /uploads/img_small.webp 1x, /uploads/img_big.webp 2x" type="image/webp"> <source srcset=" /uploads/img_small.jpg 1x, /uploads/img_big.jpg 2x" type="image/jpeg"> <img src="/uploads/img_small.jpg"> </picture>2. хранить статику сейчас дешевле и комфортней всего на Amazon S3, (тот же Django умеет статику в S3 хранить)3. как часто будут заливатся новые картинки? насколько они большие. Если не часто и не большие, то ресайзить можно на лету при добавлении. При том разово пережать все что есть в базе (2.5 лямов картинок конечно не мало, но вполне под силу домашнему компютеру)4. можно использовать нечто вроде Celery, он умеет в concurency, хотя я сейчас делаю схожую задачу на более быстром MRQ (моя задача - спарсить 260 лямов сайтов, и весьма ощутимо экономлю ресурсы при большей скорости. Какараз сейчас решаю проблемы по нему некоторые). Если не горит то вполне наработки пойдут в ваш проект уже готовые и отлаженные
5. если решение предполагает что нужно перехватывать запросы и всетаки подставлять свои картинки в сафари. то тут нужен openresty, только думаю это лишнее совсем
6. а какой вообще стек? нужно больше сведений
забыл добавить, на SEO название картинки тоже влияет, поэтому обычно берут slug(название)_little.jpg както так называют
S3, уточняю
https://aws.amazon.com/ru/s3/pricing/?nc=sn&loc=4
это неприлично дешево, хотя я не пиарю амазон (не воспринимайте как рекламу), но дешевле наверное только у себя дома (где не бизнес а дом), где вы взяли 230 баксов за месяц не пойму, объясните пожалуйста. Да и к тому же 2.5 лямов картинок не весят 10 Тб (конечо если это не спутниковые снимки)
1) S3 тарифы, хранилище S3 Standard - 0,023 USD за гигабайт (тут от выбора региона есть и дороже) = 23$ за 1 тб == 230 за 10 тб (и это только хранилище + там будут дополнительные услуги)
2) Будут ли 2.5 млн. картинок весить 10 Тб картинки вполне могут (бюджетная зеркалка в хорошем качестве делать 12 мб в jpeg => 30 Тб, а к примеру айфон делает ~2.5 мб в jpeg => 6.25 Tб), нужно ли для сайта такое качество фото, для большинства проектов нет, но тут зависит от проекта. Но заказчик привел пример выше именно на сервер с 10 Тб.
3) Размещение, есть к примеру крупный дата центр от ovh там можно арендовать сервер с 4-мя дисками по 4 тб и поставить к примеру рейд-10 получить 8 тб места (без рейда 16 тб) и уложиться в 100$ c 1 Гбит\с каналом. Есть еще более бюджетные варианты к примеру kimsufi (бывает выставляет сервера 2 Тб в рейд(0 или1) за 19$, на данный момент доступен без рейда такой )
понял, а как с качеством в этих ovh и kimsufi?
отвали, летенси, падение скорости???
вы знаете, я вот сейчас работаю над проектом размещенным на Hetzer, и напр. у них винты на самых душманских SSD, после записи 50 Гб, скорость записи падает до нуля так и висит около минуты, поэтмоу не все так однозначно может быть. Конечно нигде не написано у них что так всьо плохо, заказчику фиолетово что приходится часами делать бекап базы и пр. неприятности. Поэтому даже если написано что SSD и в рейде, не все так может быть просто. Поэтому нужен личный опыт, вот напр. в Amazon тоже есть приколы что скорость падает когда они делают ресайз дисков и пр. вещи но такое бывает раз в месяц. На Digital Ocean, все подороже но они лучше всех, почти идеал хостинга, разве что у них неудобная оплата. Кроме того нужно учитывать геолокацию потребителей для уменьшения пинга.
SDD диски нужно обслуживать, одни чаще другие реже, тогда будет работать максимально продуктивно. Бекапить большие проекты везде нужен особый подход, что-то бекпится на протяжении дня, что-то нужно производить оптимизацию перед бекапом. Облачные сервисы все работают по теории быстрей, на практики большинство систем в некоторых моментах работают на порядок медленней. Стоимость облачных сервисов обычно от *2 до *5 дороже. Да и облаком из-за постоянных бекапов может пойти нагрузка на ЦП и тд может потом не приятно удивить циником в конце месяца.
У меня вот на одном старом проекте трафик шел 2 Тб в месяц с одного сервера
амазон это бы оцени еще в +180$ в месяц абонплату
Необхідно підключити форму заявки на лендінгу до keycrm. Всі необхідні доступи надам. Пишіть скільки займе по часу та коштам така задача.
Потрібно розробити програму для Windows, яка дозволяє підключати iPhone з jailbreak через USB-кабель і керувати ним з комп’ютера. Основний функціонал: Підключення iPhone через USB. Програма повинна швидко розпізнавати підключений iPhone і працювати через кабель, щоб мінімізувати затримки та лаги. Трансляція екрану iPhone на комп’ютер. (На комп’ютері має відображатися екран телефону в реальному часі) Керування телефоном за допомогою миші. Користувач повинен мати можливість клікати, свайпати, прокручувати та керувати екраном iPhone за допомогою миші з комп’ютера. Введення тексту з комп’ютера. Має бути спільний буфер обміну між комп’ютером та iPhone. Передача файлів з комп’ютера на iPhone. Потрібно додати функцію завантаження файлів з комп’ютера в пам’ять телефону або в потрібні папки/додатки. Стабільна робота. Програма має працювати плавно, без значних затримок, зависань та обривів з’єднання. Сумісність: підтримка «зламаного» iPhone, rootless jailbreak, iOS 16.7.12, підключення через USB.
Проект вже є і він працює - задача вирішити питання по обмеженню фб, при кількості постів на годину більше 3-4 (з 7 ранку до 12 ночі) акаунти клієнтів обмежуються фб. сайт - https://buzzpost.co.il/ Також пошукати дірки в логіці і в самому проекті і виправити їх, знову ж логіка і сам проект вже працюють, але так чи інакше дірки, швидше за все, є. Найголовніша задача - вирішити проблему з обмеженням постингу фейсбука.
Мета проекту Розробити систему, яка дозволяє керувати великою кількістю акаунтів TikTok та Instagram і автоматично публікувати релевантні коментарі під вибраними відео з використанням ШІ. Основний функціонал1. Управління акаунтами Необхідно реалізувати можливість підключення акаунтів: TikTok Instagram Для кожного акаунта зберігати: логін пароль cookies/session статус акаунта дата останньої активності призначений проксіВимоги Підтримка від 100 до 1000 акаунтів. Можливість масового імпорту акаунтів. Перевірка валідності акаунтів. Відображення статусу: активний потребує авторизації заблокований тимчасове обмеження2. Управління проксі Для кожного акаунта призначається проксі. Вимоги: HTTP HTTPS SOCKS5 Налаштування: 1 акаунт = 1 проксі 2 акаунти = 1 проксі користувацький режим Відображати: IP країна швидкість статус3. Пошук контенту Система повинна шукати відео за:TikTok хештегами ключовими словами посиланням на відео акаунтом автораInstagram Reels хештегами профілями Фільтри: кількість переглядів дата публікації мова країна4. AI-модуль генерації коментарів Підключення: OpenAI API Claude API Gemini API Можливість вибору моделі.Генерація коментарів Параметри: довжина коментаря мова стиль Стилі: дружелюбний зацікавлений експертний провокаційний фліртуючий користувацький промпт Приклад: Відео: прогноз на матч Реал - Барселона Коментар: Цікава думка, але мені здається тотал більше тут виглядає перспективніше.5. Антиспам логіка Щоб коментарі були унікальними. Функції: випадкові емодзі різні конструкції речень варіативність тексту різні затримки публікації Параметри: затримка між коментарями затримка між акаунтами6. Планувальник Можливість створити кампанію. Налаштування кампанії: список акаунтів список хештегів ліміт коментарів часовий інтервал Приклад: 100 акаунтів Пошук за: sportsbetting football prediction Кожен акаунт: до 10 коментарів на добу7. Статистика Відображати: опубліковано коментарів помилки заблоковані акаунти кількість відповідей кількість лайків коментарів Графіки: день тиждень місяць8. Інтерфейс Web Dashboard. Розділи:Dashboard активні акаунти активні кампанії статистикаAccounts список акаунтів імпорт експортProxies управління проксіCampaigns створення кампаній запуск зупинкаAI Settings налаштування промптів налаштування моделейLogs всі дії системиТехнологічний стек Backend: Python FastAPI База: PostgreSQL Черги: Redis Автоматизація: Playwright Frontend: React AI: OpenAI APIПродуктивність Мінімальні вимоги: 100 акаунтів одночасно Бажано: до 1000 акаунтів
1. Є дані клієнтів в Mongo/SQL (приблизно 20 000 заисів із сирими даними). 2. Необхідно на їх основі побудувати фічі та модель класифікації клієнтв на поведінкові групи. 3. Проект виконати на Python.