Попробуй увеличить память для сервера в параметре «-Xmx2048M» хотя бы до 4Гб, если не поможет, попробуй запустить сервер без плагинов. Если не поможет это, сделай резервную копию мира - папка “world”, удали её из директории сервера, из папки “mods” достань Thermal Expansion и аддоны к нему, попробуй запустить без них. Если и это не помогло, накати сборку чисто из модов на одиночную игру так же сначала с TE, потом без.
Проблема либо с памятью, что вероятнее всего, либо с ТЕ; нужно будет шаманить с конфигами или версиями самого ТЕ или cofh