请问在拍卖公司竞拍成功由于某种原因付不出全部佣金，那么保证金会怎么样？

这里面有一个概念你必须要弄明白,拍卖公司是无权没收你的保证金的,但根据你们的合同(你们签订的成交确认书)拍卖公司有权不返还你的保证金.
你所提的问题,你可以仔细看一看你和拍卖方所签订的成交确认书及其它拍卖文本资料,一般来说,你不能在约定的时间内付清余款,保证金是不予返还的,具体情况还是有差别,这个一般在拍卖文本中可以找到.
此外,<中华人民共和国拍卖法>第三十九条规定:买受人应当按照约定支付拍卖标的的价款，未按照约定支付价款的，应当承担违约责任，或者由拍卖人征得委托人的同意，将拍卖标的再行拍卖。 拍卖标的再行拍卖的，原买受人应当支付第一次拍卖中本人及委托人应当支付的佣金。再行拍卖的价款低于原拍卖价款的，原买受人应当补足差额。 所以从这条看,如果你违约在先,可能承担的责任还有上述责任,即补第二次拍卖的差价和第一次拍卖中本人及委托人的佣金.