Flere har meldt seg ut av partiet siden onsdag