もし礼装として着たいのなら神様への敬意をこめて堂々と着ればいいだけだと思います。
伝統芸能系の人のお仕事着など、決まり事が厳密に決まっている世界はまた別です。警察官が制服着用すべきシーンで私服を着るわけにはいかないのと同じです。お仕事の制服であれば、決まった通りのお仕事の制服を着てください。たとえば茶道など、細かいしきたりが設定されている閉じた世界の中であればその通りにしてください。
が、選択の余地がある場合、結婚式・披露宴・受賞式典・七五三などの「改まった服でおねがいします」程度の指定しかないパブリックな場であるのなら、「紬は不可」的な話は無視する人が増えたほうがよいと思います。
なぜかというと、これにはきちんとした理由があります。
「紬は普段着だから礼装に用いるべからず 」という話をなぜ否定するのかというと、紬という織物は「昔はくず糸で作った作業着だった」という歴史話が背景になる理由だからです。一方で「お召という織物は礼装に適する」という話があります。これは江戸幕府の将軍徳川家斉が好きだったからという歴史が背景です。
今の時代に「徳川将軍が好んでいたから礼装にする」とか「昔は作業着だったから、今も作業着扱い」みたいな話って、「封建制度的でクダラナイと思いませんか？」という話です。
見た目がダメージ加工したジーンズみたいなボロ着着物であれば「浪人っぽくてかっこよくても、礼装には違うんじゃないの」という意見はごもっともです。
ただ、現代の紬や織りの着物は見た目的にカジュアルにしか見えないもののほうが少数派です。例えば、大島紬などにはどう見ても礼装でいいだろうという見た目のものがたくさんあります。それを大昔の話を持ち出して差別するのは、悪い意味で江戸時代的ではありませんかという話です。
これを呉服業界の人に言うと一部の人が怒ると思いますが、「紬＝普段着というマナー」に関しては、「ある呉服屋が販売戦略として、紬は普段着で正式な場では着られないという設定を広めた」という説さえもあります。呉服屋も商売ですので「お店の立場的に売りたい商品」は当然あるでしょう。となると、そういうご都合主義な啓蒙活動をする動機は十分にあります。
そんなわけで、「紬の着物は普段着だから礼装に用いるべからず」的な一昔前の昭和のルールは順次廃止していくべきだと思っています。
道徳であれマナーであれ、迷った時は「その決まりごとの、設定された理由は何なんだ？」と立法者（初期に決めた人達）の視点に立って考えてみることも大切です。完全無視ではなく、成り立ちは知った上でいらないものは廃止していこうということです。
着物を楽しむ人の輪を広げるためには、「初心者からみて細かすぎるルール」はなるべく減らした方が良いです。一部の人は堕落と感じるでしょうが、ここまで「着物を着ない人が圧倒的多数派」になっている中、着物が絶滅しないためには「ルールを時代にあわせて変えていくこと」は必要です。もちろん「腰で着る衣服である着物を、洋服のジャケットのように肩で着るものにしようぜ」みたいな本末転倒な話には大反対します。腰ハラ文化という言葉もありますが、身体文化的な部分は一番大切な土台部分だからです。ただ、枝葉的な細かいルールはどんどん変化していくほうが自然だと思います。
個人的な趣味で言うと、化繊（ポリ）の着物とプリンタ印刷の着物は「フォーマル～スマート・カジュアルでは禁止にしようぜ」と密かに思います。そして、スーツよりは黒紋付（明治期に一般の礼服になった）、黒紋付よりは束帯束帯（平安時代の礼服）が一般の礼服として復活してくれたほうが楽しいと思います。が、歴史を見る限り「人間は便利なほうに流れるもの」なのでそれはあきらめてます。
