Это ошибка в переводе и толковании фазы из Властелина Колец. Там сказано так:

"he was a renegade, who came of the race of those that are named the Black Numenoreans; for they established their dwellings in Middle-earth during the years of Sauron’s domination, and they worshipped him, being enamoured of evil knowledge. And he entered the service of the Dark Tower when it first rose again"

примерный перевод:
"он был изменником, происходящим из того народа, что зовётся Чёрными Нуменорцами. <...>. И он поступил на службу в Чёрную Башню, как только она была вновь отстроена".

Барад-Дур был отстроен где-то около 2951 года Третьей Эпохи, то есть примерно за 68 лет до событий ВК. Возраст у Голоса Саурона был солидный, но для нуменорцев не такой уж удивительный. Арагорн, к примеру, родился в 2931.