Who can help set up such a setup: I plan to deploy a server that will work in parallel with 4–5 different AI models for programming tasks. The key requirement is multi-user access: several developers will be able to use the server simultaneously, each in an isolated session with their own agents. Models Claude / GPT / Kimi k3
Proposals concealed
Proposals are currently absent
-
Ruslan B. 5 April 2023Скільки користувачів ?
І чи разглядали варіант права на групи
Та включення selinux.
-
Yaroslav R.
5 April 2023
користувачів буде від 3-5+ (в основному це vscode-remote редактори які будуть запускати локальні процеси через zsh консоль)
права на групи теж було б круто в теорії, можна було б прямо групу resources-30 resources-10 або priority-10 і т.д.
selinux теоретично добре інтегровано в fedora і redhat based, але в теорії і тут буде працювати якщо не помиляюсь. -
Yaroslav R.
5 April 2023
в цілому відкритий до включення будь-яких підсистем які допоможуть з рішенням
-
Denis Holius 5 April 2023Як зрозуміти, що ви запускаєте щось велике? Ваші кейси мені трохи не зрозумілі, можете приклад реальний привести?
Приклад з nginx не дуже, бо йому й так потрібно мізерну кількість ресурсів. А якщо ви хочете щось накшталт linux rdp - то краще ранити в Docker, а зберігати інфу кудись на кладу сторадж, і так - десктоп лінукс можна і в докері запустити. -
Yaroslav R.
5 April 2023
Кейс: юзер зайшов на сервер через ssh запустив наприклад python runsomeheavymultiprocess.py і так декілька юзерів, або запустив node runsome.js вони хочуть використати всі ресурси що є, тобто все що б юзер не запускав треба якось лімітувати.
Докер теж підходить, але потрібен реальний доступ до файлової системи замість overlayfs -
Yaroslav R.
5 April 2023
основа це щоб одні юзери мали наприклад 10% ресурсів а інші пріорітетніші 20% або навіть усі ресурси коли щось запустили, можете глянути cgroups але поки не вдалось налаштувати
-
Denis Holius 5 April 2023Є така штука nomad або той же kubernetes, ними можна задавати такі ліміти та багато чого іншого. Через скрипти bash+systemв це ну дуже довго вийде писати говнокод, його дебаг та все таке інше. Для того ж k8s є багато готових навіть скейлерів. Але іще раз повторюю: якщо ви хочете зробити з одного VPS/Bare metal server щось типу dev серверу, то краще нарізати багато vps on demand, або контейнерів в k8s.
-
Yaroslav R.
5 April 2023
Зрозумів, vps-ondemand навіть близько не стоїть по прайсу поточного baremetal (не вигідно). Що по IOPS, CPU, RAM і т.д.
Мені треба повний доступ до baremetal без монтування файлових систем через overlay з яким потім можуть виникнути проблеми, юзери повинні запускати все що захочуть і якщо необхідно потім отримати усі ресурси системи, мені не треба контейнер чи оркестрація оцього всього.
Чисто теоретично скільки б ви хотіли за розвертання вашого бачення вирішення проблеми через k8s і як бачите виділення ресурсів (я так зрозумів ліміти на контейнер з zsh чи bash шелом) -
Sergey Yashin 5 April 2023Самое простое linux containers, самое допиленное openvz, оверхед минимальный
-
Denis Holius 6 April 2023openvz платне, як я зрозумів то потрібне щось без ліцензування
знайомий ще таке запропонував:
ему нужен cloudlinux
пусть возьмёт лицензию, настроит LVE, настроит CageFS и работает -
Andrii Kisil 5 April 2023Підтримую ідею з ldx з відповідними лімітами. Або той же docker з лімітами
-
Vadim N. 6 April 2023Решал когда то подобную задачу через kubernetes и Kube eagle. Если хотите могу скинуть наработки которые есть у самого просто на данный проест нет времени.
-
Ruslan B. 7 April 2023залишилось запитання по встановленому сервері :
залізний, виділений
кількість ядер та об'єм оперативки
і тип дисків.
щоб орієнтуватись, що маєте і чи вистачає ресурсів, щоб їх розділяти.
-
Yaroslav R.
7 April 2023
дам тестовий на 8 ядер і 32гб оперативи. А так на реальному 128гб оперативи 2тб диск рейд 0 і 24 ядра
-
Yaroslav R.
7 April 2023
можете спробувати, я дивився як можна через cgroups + systemd але поки сам не пробував
Current freelance projects in the category DevOps
As part of enhancing the cybersecurity level of our infrastructure, we need to abandon the practice of storing "eternal" and static API keys, passwords, and integration tokens in the configuration files (.env, appsettings.json, config.yaml) of our microservices. Business Goal: Create a single secure storage point for confidential data (secrets) with a mechanism for their automatic updating (rotation) in external systems on a schedule. Our other services will request current tokens "on the fly" via API, which will minimize damage in case of compromise of any system component.Security Model and Encryption (Crypto Core) No secret should be stored in plaintext in the database. Upon application startup, a Master Key is passed to the environment variables. If the key is missing or has an invalid length, the service should fail at the initialization stage with a clear error in the logs. Each secret is encrypted before being written to the database using this Master Key. Upon request, it is decrypted in memory and returned in the response body.Audit Logging (Audit Trail) Any action with secrets (creation, reading by the service, successful or unsuccessful rotation) must be recorded in a separate log file audit.log (or a separate table in the database). Strict Taboo: It is strictly prohibited to record the actual values of secrets in the audit log (neither in plaintext nor in encrypted form).
We have a dedicated server on Hetzner with a website on Docker (+ Laravel framework) Contact with the developers has been lost Need to: - restore and change server access (probably SSH) - recommend a storage location and set up a full server backup with easy recovery, probably not on Hetzner for security - fix the logo that is not displaying for some reason (it's unclear why the file has become inaccessible) Important - there is no website backup, and there is no room for error. We will only consider experienced specialists.