Дело не в том, что неслуживые. Евреи -- пришлое население, просившее великого князя право на поселение, потому как в Германии в средние века они подвергались гонениям. Право на поселение им дали, а вот право покупки земли -- нет, потому что это было привилегией шляхты (до отмены Статута ВКЛ в 1840 году лицо, нерожденное на территории ВКЛ вообще не имело право покупать землю). Поэтому они занимались торговлей и права гражданства не имели. А любое их покушение на права гражданства (элементом которых была покупка земли) рассматривались шляхтой как поведение, угрожающее самим основам государства. И такое отношение традиционно сохранилось поныне (если еврей пытается выдать себя за шляхту, или шляхтича пытаются смешать с евреями, то это воспринимается как оскорбление и неподобающее поведение). Другое дело, что если евреи не замахивались на то, что им не принадлежит, то к ним относились толерантно -- в ВКЛ никогда не было сколько-нибудь крупных еврейских погромов (пока литовцы в 1942 году не решили выслужится перед немцами и сами по своей инициативе не вырезали Виленское гетто).