Bom, podem ser muitas coisas. Você usa Wi-Fi para jogar? Sua NAT está aberta? Faça o teste de estatística de rede detalhada, nas configurações. Lá você terá mais informações.
Pode ser também redirecionamento de tráfego da sua internet. Sofria muito isso quando jogava Titanfall, lá em 2014/2015. Em vez do caminho da informação ser "direto" aqui no Brasil, ele era jogado para um servidor americano (não sei se a fins de baixo custo), e depois retornava ao Brasil. Ou seja, o ping saia de 10ms para 170ms. Se for isso, só trocando de provedor.