這類問題可不是那么簡單。
既然小區有業委會，那意味著小區已經成立了“業主大會”，并且是通過業主“選舉”，進而產生的這個業委會；如果這個業委會的產生是在街道辦及居委會的指導下，選舉組建而成，且履行了“備案”程序，那么它就是你們小區唯一合法的一個“業主組織”，是你們小區業主大會的執行機構，它代表著你們小區全體業主的“合法權益”。
那么在這個前提下，你們再去成立什么“維權小組”，就會被質疑是“名不正言不順”，僅僅是打著維權旗號的一個自發的臨時性組織而已，更別遑談什么去“自治”了。
你的這個問題，實際還是說的“業委會監督監管難題”。就是說，當下的這個業委會，不能名副其實，不能正常履職，用你的話說，“不作為，亂作為”。
就全國范圍來看，這都是一個通病，是個難點。因為業主與業委會之間的矛盾，也是近年來新興的一個小區矛盾，甚至較之業主與物業公司之間還要激烈和復雜。
那么這類問題的“正規”解決途徑，只能還是向轄區街道辦及社區居委會反映。你們可以另行自發成立一個所謂的“維權小組”，去收集該業委會的種種違規做法，（必須要有實證）將其“不作為，亂作為”的具體事例收集完全，要求予以糾正整改撤銷等等。
或者，聯合足夠多的業主人數，按住建部《業主大會和業主委員會指導規則》第二十一條，經專有部分占建筑物總面積20%以上且占總人數20%以上業主提議的；小區業委會就應當組織召開業主大會臨時會議。就是說，由業主大會會議來討論應該怎么辦？例如是否重新選舉業委會？是否自治等等。
歸根結底，小區事務的最終決定權在于業主大會，不是業委會，更不是什么“維權小組”。
你們可以先成立一個什么“維權組”，但這僅是某幾個或某些業主自發組成的臨時性組織而已，可以通過這種方式去與現任業委會理論，為廣大業主爭取權益。
但要想從根本上解決問題，還是需要得到轄區部門的支持，通過召開業主大會的方式，做出最終的決定。