нужно ли обновлять Вордпресс (сейчас на сайте версия 4.5.9)

Вы же не собираетесь вечно оставаться на 4.5.9? Поэтому ответ очевиден. Если не сегодня, то завтра!

может ли старая версия влиять на скорость работы админпанели?

Нет однозначного ответа. Разработчики WordPress не зря рекомендуют бекапиться (создавать резервные копии сайта) перед обновлением, потому что не тестировали его на ваших плагинах и темах, куда вносятся изменения.