Mongodb扫描分析

mongodb扫描分析

策略

graph LR
  A["Collection"]
  A --> B["对于数据量小的collection，直接整表扫描统计分析结果"]
  A --> C["对于数据量大的collection，因为内存限制、废弃的数据较多(小农女)等原因。选取站点抽样扫描"]

async_task(整表扫描)

cart字段的amount，unit_price，spu_remark存在类型不统一问题

attritem(整表扫描)

无问题，但只有5行数据，这个表是否可以删除

attritem_rel(整表扫描)

无问题，数据极少

attrvalue(整表扫描)

无问题，数据极少

attrvalue_sxu(整表扫描)

无问题，数据极少

batch_stock(黄马甲，闪送)

avg_price数据类型不一致 remain数据类型不一致 supplier_id, suppliern_name有缺少

batch_stock_flow(10000条)

old_remain, new_remain数据类型不一致

customized_info(10000条)

字段大量缺失，其中pay_type字符串和数字混用

default_config(10000条)

无问题

driver_location(10000条)

无问题

employee_station_limit(整表扫描)

无问题

error_charge_config(整表扫描)

无问题，数据极少

fqt_report(整表扫描)

无问题

freight(整表扫描)

group_id有缺失

glus_customer_supply(整表扫描)

无问题

glus_supply_chains(整表扫描)

无问题

in_stock_log(黄马甲，闪送)

float,int未区分

openapi_user(整表扫描)

无问题

order_change(整表扫描)

无问题

order_data(整表扫描)

无问题

order_delta_log(整表扫描)

无问题

order_new(黄马甲，闪送)

float和int混用

order_statistics_cycletime(黄马甲，闪送)

float,int未区分

order_statistics_orderedtime(黄马甲，闪送)

float,int未区分

order_statistics_receivedtime(黄马甲，闪送)

float,int未区分

out_batch_stock_flow(整表扫描)

status字段只有6个

out_stock_log(黄马甲，闪送)

modify_time, old_total_stock_num只有3个

out_stock_sheet(黄马甲，闪送)

quantity数字和字符串混用

price_rule(整表扫描)

极少数字段没有group_id

purchase_apply(整表扫描)

无大问题

purchase_sheet(黄马甲，闪送)

部分字段有缺失

purchase_sku_log(黄马甲，闪送)

float,int未区分

purchase_specification(黄马甲，闪送)

last_in_stock_price只有少数存在

requests_log_summary(整表扫描)

无问题

return_to_supply_log(黄马甲，闪送)

return_amount字符串和数字混用

station(站点)

少数站点无group id，大部分字段参差不齐

station(供应商)

district_name字段存在array和字符串混用的情况，且因为历史原因有大量冗余字段

stock_new

无大问题

stock_sheet(黄马甲，闪送)

money字段存在大量string类型

stock_value_new(黄马甲，闪送)

无大问题

user_config(整表扫描)

无问题

weighting_latest(扫描了10000条)

无问题

weighting_op_log(黄马甲，闪送)

无问题

weighting_spu_group(整表扫描)

无问题

wx_pay_info(整表扫描)

无问题

spu_product(黄马甲，闪送)

无问题

pinlei(黄马甲，闪送)

无问题

category_level2(黄马甲，闪送)

无问题

category_level1(黄马甲，闪送)

无问题