Каким документом правильно удержать сумму за использованный отпуск?
Если оформить это документом "Начисление по среднему" - "компенсация отпуска", то рассчитывается сумма удержания + НДФЛ, в данном примере это 2807, 49. А должно быть 2807,49 - 13% = 2443.
Если все же удержать 2807, то НДФЛ не рассчитается на эту сумму и соответственно сотрудник должен будет вернуть в кассу на 365 рублей больше.
Или есть другой документ и способ как это рассчитать?

Для данного сотрудника сделайте отдельный документ "ндфл". В настройках поставьте галочку "возвращать излишне удержанный налог". И тогда ндфл с минусом посчитается

А сам расчет правильно сделали

Интересно, а как Вы будете отчитываться по РСВ1 и НДФЛ с итоговым отрицательным начислением?

ну с ПФР все просто, сдадут корректировку за 2015 год И по НДФЛ тоже подадут корректировку за 2015 год, либо сразу включить эту сумму в справку за 2015.

Галочку установил, но НДФЛ также не рассчитывается

Скрин документа ндфл и его настроек можно?