竞业限制的义务主体只能是用人单位的高级管理人员、高级技术人员和其他负有保密义务的人员，用人单位不得与上述人员以外的其他劳动者约定竞业限制，否则该约定就是无效的。