3000字！5大SQL數(shù)據(jù)清洗方法！

設(shè)為“置頂或星標(biāo)”，第一時(shí)間送達(dá)干貨

刪除列Python版：
df.drop(col_names,?axis=1,?inplace=True)

刪除列SQL版：
1、select?col_names?from?Table_Name

2、alter?table?tableName?drop?column?columnName

重命名列Python版：
df.rename(index={'row1':'A'},columns?={'col1':'B'})

重命名列SQL版：
select?col_names?as?col_name_B?from?Table_Name

重復(fù)值處理Python版：
df.drop_duplicates()

重復(fù)值處理SQL版：
1、select?distinct?col_name?from?Table_Name

2、select?col_name?from?Table_Name?group?bycol_name

缺失值處理Python版：
df.fillna(value?=?0)

df1.combine_first(df2)

缺失值處理SQL版：
1、select?ifnull(col_name,0)?value?from?Table_Name

2、select?coalesce(col_name,col_name_A,0)?as?value?from?Table_Name

3、select?case?when?col_name?is?null?then?0?else?col_name?end?from?Table_Name

字符串處理Python版：
##?1、空格處理
df[col_name]?=?df[col_name].str.lstrip()?

##?2、*%d等垃圾符處理
df[col_name].replace('?&#.*',?'',?regex=True,?inplace=True)

##?3、字符串分割
df[col_name].str.split('分割符')

##?4、字符串拼接
df[col_name].str.cat()

字符串處理SQL版：
##?1、空格處理
select?ltrim(col_name)?from?Table_name?

##?2、*%d等垃圾符處理
select?regexp_replace(col_name,正則表達(dá)式)?from?Table_name?

##?3、字符串分割
select?split(col_name,'分割符')?from?Table_name?

##?4、字符串拼接
select?concat_ws(col_name,'拼接符')?from?Table_name?

合并處理Python版：

左右合并
1、pd.merge(left,?right,?how='inner',?on=None,?left_on=None,?right_on=None,
?????????left_index=False,?right_index=False,?sort=True,
?????????suffixes=('_x',?'_y'),?copy=True,?indicator=False,
?????????validate=None)
2、pd.concat([df1,df2])

上下合并
df1.append(df2,?ignore_index=True,?sort=False)

合并處理SQL版：

左右合并
select?A.*,B.*?from?Table_a?A?join?Table_b?B?on?A.id?=?B.id

select?A.*?from?Table_a?A?left?join?Table_b?B?on?A.id?=?B.id

上下合并
## Union：對(duì)兩個(gè)結(jié)果集進(jìn)行并集操作，不包括重復(fù)行，同時(shí)進(jìn)行默認(rèn)規(guī)則的排序；
## Union All：對(duì)兩個(gè)結(jié)果集進(jìn)行并集操作，包括重復(fù)行，不進(jìn)行排序；

select?A.*?from?Table_a?A?
union
select?B.*?from?Table_b?B?

# Union 因?yàn)闀?huì)將各查詢子集的記錄做比較，故比起Union All ，通常速度都會(huì)慢上許多。一般來說，如果使用Union All能滿足要求的話，務(wù)必使用Union All。?

窗口分組Python版：

df['Rank']?=?df.groupby(by=['Sale_store'])['Sale_Num'].transform(lambda?x:?x.rank(ascending=False))

窗口分組SQL版：

select?
??*?
from
??(
??Select?
????*，
????row_number()?over(partition?by?Sale_store?order?by?Sale_Num?desc)?rk
??from?
????table_name
??)?b?where?b.rk?=?1