广告牌违规属于哪个部门管

法律分析：城管在当事不知情的情况下把广告牌收走，如果广告牌是设置的，那么城管员的行为是合法的。

法律依据：根据《城容和环境卫生管理条例》第十一条规定：在城中设置户外广告、标语牌、画廊、橱窗等，应当内容健康、外型美观，并定期维修、油饰或者拆除。大型户外广告的设置必须征得城民政府容环境卫生行政主管部门同意后，按照有关规定办理审批手续。