行政に対して、古い用水路の撤去費用を請求することはできますか？

役所が埋めた行為自体に違法の事実がない限り役所への請求は難しいです。
本来であれば、土地の前所有者が、用水路が埋まっていることを高橋様にご説明をしなければいけなかったわけですし、もし訴えるのであれば、前所有者です。

時効というお話でしたが、瑕疵担保(*1)の責任追及は民法上１０年ですので、前所有者から購入されたのが１０年以内であれば法的には瑕疵担保を請求することができます。しかし、前所有者との契約で瑕疵担保が免責になっている場合もございます。本件の場合、実際は裁判を起こすのはなかなか難しいのではないかと思います。

一度、無料の法律相談などをご利用されて、裁判が可能なのかご相談なさってみてもよろしいかと存じます。

＝＝＝＝＝＝＝＝＝
用語に対する注記
*1）2020年４月１日民法改正により、「瑕疵担保責任」は「契約不適合責任」という用語に変更されました。改正民法施行日前に契約された取引については、改正前民法が適用されます。