При Елизавете Петровне получил должность Обер-прокурора Святейшего Синода, находясь на этом посту он рьяно боролся с злоупотреблениями должностных лиц. На данном посту Яков Петрович оставался 12 лет.
29 мая 1753 года Я.П.Шаховской назначается генерал-кригскомиссаром. На этом посту он также строго следил за соблюдением государственных интересов. 15 августа 1760 года Шаховской становится Генерал-прокурором и одновременно Конференц-министром. Узнав о своем назначении на новую должность, он воскликнул: «В оном чину наиглавнейших злодеев иметь буду».
При Петре Третьем был отправлен в отставку, но при Екатерине Великой получил должность сенатора, был награжден орденом Св.Андрея Первозванного. Выйдя в отставку по состоянию здоровья в 1766 году, написал мемуары о своей службе «Записки», которые были опубликованы уже после его смерти.