Приведите, пожалуйста,  примеры XML которые сложно или невозможно
описать с помощью схемоориентированных языков. 
В таком случае, я бы  мог не терять время в попытках описать документ,
и переходил бы  к непосредственному кодированию необходимых ограничений
на Schematron. 

A [flax].

Eric’s relax book :

 This problem is unresolvable because it is an unambiguous 
 pattern which is not deterministic and can't be rewritten in a 
 deterministic form 

valid documentS are :

 
<page></page>
<page><odd/></page>
<page><odd/><even/></page>
<page><odd/><even/><odd/></page>
<page><odd/><even/><odd/><even/></page>
<page><odd/><even/><odd/><even/><odd/></page>
etc...
</pages>

invalid documentS are :

<page><odd/><odd/></page>
<page><odd/><even/><odd/><odd/><even/></page>
<page><odd/><even/><odd/><even/><even/></page>
<page><even/></page>

(odd, even)*, odd? - is not deterministic.

посмотреть и проверить. То ли там только о DTD/Xschema, то ли и о Relax тоже.

A [flax].

To create constaint on the inner_tex

  <elem>inner_text<subelem/></elem>

A [flax]. Поиграться на вынужденных трюках для избежания недетерминизма, и на сложном месте потребовать ключ по атрибутам. Раскрутить обратно.

<library>
    <publication type="journal">...</publication>
    <publication type="journal">...</publication>
    <publication type="journal">...</publication>
    <publication type="hardback"/>...</publication>
    <publication type="book"/>...</publication>
    <publication type="book"/>...</publication>
    <publication type="book"/>...</publication>
    <publication type="book"/>...</publication>
    <publication type="reference"/>...</publication>
    <publication type="misc"/>...</publication>
    <publication type="misc"/>...</publication>
</library>

ту же самую идею вы можете просмотреть в чрезвычайно полезной заметке от Henrik Motakef Can I use schema to validate data fields that depend on other fields