Начнем с того, что плантаторы были наиболее  богатыми и влиятельными. В местном самоуправлении они занимали видные посты и как правило на выборы представителей выдвигались сторонники их политики. Кроме того, к голосам свободных избирателей добавлялось 60% от количества рабов. Которые, естественно, сами не голосовали. В этом отличие от "севера", где рабов практически не было.
Все это давало сторонникам отделения непропорционально большой процент в коллегиях выборщиков и представительствах. Поэтому решения коллегий и ассамблеей были гораздо более радикальными, чем мнения  их же избирателей.
Очень наглядная картина в тех штатах, где проводили голосование и представители и население. Например, в Луизиане представители проголосовали за отделение как 113 к 17. Тут же голосовали за то, чтобы не проводить всенародного голосования (84 к 45). Но потом провели работу, осмелели и разрешили. Результат - только незначительная поддержка отделения: 20448 к 17296. В Алабаме представители голосовали за отделение, как 166 к 7, а их избиратели 34794 к 11235...
Некоторые штаты не проводили референдумы среди избирателей. В некоторых, в первом голосовании избиратели голосовали против отделения. Были такие, в которых сначала были против и ассамблеи...
Вот, в качестве дополнительной иллюстрации, несколько цитат того времени:
"Джорджия. «The Griffin Union»:
«Это чистейшее издевательство, когда те же самые люди, которые выработали в Монтгомери данную конституцию, возвращаются в Джорджию, чтобы ратифицировать ее от имени конвента штата».
«The Macon Journal»:
«Конвенты штатов, созванные совсем для другой цели... утверждают, будто они — народ и что они, в силу этой присвоенной власти, имеют право, не спросив самого народа, послать представителей на всеобщий конвент. Все решения конгресса их Конфедерации принимаются на тайных заседаниях при закрытых дверях, и все, что там происходит, скрывается от народа».
«The Augusta Chronicle and Sentinel» (самая крупная газета в Джорджии):
«Все движение за отделение и образование нового правительства происходит, — по крайней мере, поскольку речь идет о Джорджии — лишь при мнимом согласии народа, и было навязано в обстановке сильнейшего возбуждения и безумия, путем фиктивного большинства. Несмотря на все попытки воздействия и т. п., выборы 4 января показали потерю почти 3000 голосов и абсолютное большинство в лице 79 избранных делегатов. Но когда конвент собрался, то вследствие лести, уговоров, подкупа и всяческого обмана оказалось большинство в 31» (против Союза)... «Конвент Джорджии и конгресс Конфедерации действовали, — никто не может этого отрицать, — без полномочий со стороны народа».
Алабама. «The Mobile Advertiser»:
«Конвент утвердил постоянную конституцию от имени штата Алабама... Не подлежит сомнению тот важный факт, что делегаты избирались не для этой цели».
«The North Alabamian»:
«Конвент поспешил узурпировать прерогативу народа и ратифицировать конституцию... Заслуживает внимания то, что материальная, физическая сила страны, трудовой люд с мозолистыми руками, которому придется вынести на себе всю тяжесть борьбы, когда призовет страна, с самого начала был против отделения».
Миссисипи. Аналогичные жалобы по поводу узурпации в «Jackson Mississippian» и «Vicksburg Whig». Луизиана. «New-Orleans True Delta»:
«Здесь отделение удалось лишь потому, что были скрыты результаты выборов... правление стало деспотическим».
На заседании конвента штата Луизиана (Новый Орлеан) 21 марта 1861 г. Розелиес (один из виднейших политиков Соединенных Штатов) заявил:
«Монтгомерийский документ... учредил не народное правительство, а ненавистную и неограниченную олигархию. Народу не было дозволено принять участие в этом деле».
В Луисвилле, штат Кентукки, сенатор Гатри (сторонник рабства, министр финансов при
Пирсе) заявил 16 марта 1861 г., что все движение есть «заговор» и «узурпация». Между прочим он сказал:
«В Алабаме во время всенародного голосования большинство высказалось против выхода из Союза, но незначительное большинство делегатов было за отделение; они отторгли Алабаму и не позволили народу сказать свое слово в этом деле. Луизиана также голосовала против отделения, но делегаты скрыли это.».

Конечно, далеко не все 20448 человек, голосовавших за отделение в Луизиане, были плантаторами или зависимыми от них людьми. О другой социальной группе, поддерживавших рабовладение сказали еще классики:
"они стали самыми покорными орудиями олигархии 300000 рабовладельцев. Само собой разумеется, что последние благодаря своей сплоченности, положению и имеющимся у них средствам пока еще в состоянии подавить всякую оппозицию. В некоторой части «белых бедняков» они нашли ту чернь, которая заменяет им зуавов".
Средний класс, в основном, отделение не поддерживал. Те рабовладельческие штаты, в которых преобладали фермерские хозяйства, к мятежу не присоединились. А когда армия Ли вторглась в западный Мэриленд, где преобладали фермеры, ее встретили весьма холодно.
Ну и, наконец, многие  люди, сражавшиеся за Конфедерацию, мятеж не поддерживали, но оказались своего рода заложниками. Сначала был поднят инспирированый плантаторами мятеж, начата война, а на ответные действия федерального правительства, последовала пропагандистская кампания
"Родина в опасности, спасайте от агрессии". Очень многие попали в такую психологическую ловушку.
Еще раз припадем к нетленке:
"отсюда и то, что южане должны были провоцировать войну, чтобы иметь возможность продолжать свое дело под кличем «Север против Юга».
Но даже всех этих групп не хватит, чтобы показать "единство Юга". Например, в армии США воевали почти 350 тыс. солдат из рабовладельческих штатов. Грубо говоря, каждый четвертый "южанин" воевал за "север".