Город расположен на берегах р.Обша, притока Западной Двины, разделяющей его на две части: северную (занимает равнинную местность) и южную (холмистая, доминирующая над рекой). С городом связано много легенд и преданий. По одному из них, поначалу город закладывали у речки Белая (отсюда и название), но поднявшаяся в половодье вода, усиленная дождями, снесла заготовленные материалы в Обшу. Похоже, что провидение указывало на необходимость переноса города на другое место. Перенесли. Так до сих пор и стоит. Считается, что к XIII в. город имел длительную историю, следы которой не сохранились. В 1395 г. Белый включен в состав Великого княжества Литовского.
Однако еще до этого короткое время он принадлежал Московскому княжеству. В 1356 г. Дмитрий Иванович (будущий Дмитрий Донской) отбил его у смоленского князя Святослава.
