Настройка mysql 5.7.21 для стабильной работы с большими таблтцами

Сам сервер уходит в перезагрузку? Или демон mysql? Попробуйте в самой ОС покопиорвать большие файлы в несколько потоков. Если резултат будет такой же то нужно перебрать весь сервер. От диска, ядра ... и до настроек mysql

Забыл спросить. Это физический сервер или VPS?

Вот текуши my.cnf может вам он поможет понять что не так настроено

# $FreeBSD: branches/2017Q3/databases/mysql57-server/files/my.cnf.sample.in 414707 2016-05-06 14:39:59Z riggs $

[client]
port                            = 3306
socket                          = /tmp/mysql.sock

[mysql]
prompt                          = \u@\h [\d]>\_
no_auto_rehash

[mysqld]
#innodb_force_recovery          = 1
#innodb_log_checksums           = 0
#innodb_checksums               = OFF
log_error                       = /data/db/mysql/mysql_error.log
user                            = mysql
port                            = 3306
socket                          = /tmp/mysql.sock
bind-address                    = 127.0.0.1
basedir                         = /usr/local
datadir                         = /data/db/mysql
tmpdir                          = /var/db/mysql_tmpdir
slave-load-tmpdir               = /var/db/mysql_tmpdir
slave-skip-errors               = 1062
secure-file-priv                = /data/db/formatted
#log-bin                         = NO
log-output                      = TABLE
master-info-repository          = TABLE
relay-log-info-repository       = TABLE
relay-log-recovery              = 1
slow-query-log                  = 1
server-id                       = 1
sync_binlog                     = 1
sync_relay_log                  = 1
binlog_cache_size               = 16M
expire_logs_days                = 30
default_password_lifetime       = 0
enforce-gtid-consistency        = 1
gtid-mode                       = ON
safe-user-create                = 1
lower_case_table_names          = 1
explicit-defaults-for-timestamp = 1
myisam-recover-options          = BACKUP,FORCE
open_files_limit                = 40000
table_open_cache                = 32384
table_definition_cache          = 8192
net_retry_count                 = 16384
key_buffer_size                 = 512M
max_allowed_packet              = 256M
query_cache_type                = 0
query_cache_size                = 0
long_query_time                 = 1
innodb_buffer_pool_size         = 3G
innodb_buffer_pool_load_at_startup = OFF
innodb_data_home_dir            = /data/db/mysql
innodb_log_group_home_dir       = /data/db/mysql
innodb_tmpdir                   = /data/db/mysql_tmp
innodb_data_file_path           = ibdata2:512M:autoextend
innodb_temp_data_file_path      = ibtmp2:512M:autoextend
innodb_flush_method             = O_DIRECT
innodb_log_file_size            = 256M
innodb_log_buffer_size          = 16M
innodb_write_io_threads         = 8
innodb_read_io_threads          = 8
innodb_autoinc_lock_mode        = 2
skip-symbolic-links
collation-server                = utf8_unicode_ci
init-connect                    = 'SET NAMES utf8'
character-set-server            = utf8

[mysqldump]
max_allowed_packet              = 512M
quote_names
quick