Странно. В любом случае, на обеих таблицах тонов видно, что высокочастотные тоны (с большими номерами) работают плохо. Во втором случае - совсем плохо (нагрузка каждого тона достигается 1-3, что очень мало). Похоже на какую-то высокочастотную помеху или наводку на вашу линию.

Проверяйте линию: отключите сплиттер и включитесь напрямую модемом; попробуйте встать на КРТ; попробуйте принудительно режим G.dmt (этот режим испольует первые 256 тонов, которые у вас хоть как-то работают). По крайней мере, стабильность должна повыситься.