Hallo Edde,
meines Wissens gibt es in InDesign selbst keine Silbentrennung und keine Rechtschreibprüfung für Serbisch.
Du könntest das eventuell über Hunspell-Wörterbücher lösen:
Adding Hunspell Dictionaries to InDesign.
Ist etwas umständlich und muss nach einem Update wieder erneuert werden, aber es funktionierte bei mir z.B. mit Altgriechisch und Latein.
Hier im Forum hatten wir auch mal eine Diskussion zum Thema:
InDesign CC 2018: Hunspell Latein Dort gibt es weitere Anleitungen und Hinweise zur Installation von Hunspell Wörterbüchern.
Alternativ könntest Du mal bei AEXTRA Software nachfragen, ob
InDihyph Serbisch unterstützt. Das wäre zwar nicht die billigste aber qualitativ höchstwahrscheinlich die beste Lösung.