1
2
3
| from tvmpipeline import pipeline
\# 创建Pipeline Executor with pipeline( backend="tf", target="gpu", xla\_compile=True, xla\_client\_memory=1024 \* 1024 \* 1024, xla\_server\_memory=1024 \* 1024 \* 1024, xla\_num\_shards=8, xla\_tf\_use\_cudnn\_on\_gpu=True, xla\_tf\_use\_cudnn\_on\_cpu=True, xla\_tf\_use\_cudnn\_fallback=True, xla\_tf\_use\_cudnn\_offload=True, xla\_tf\_use\_cudnn\_offload\_all\_ops=True, xla\_tf\_use\_cudnn\_offload\_all\_kernels=True, xla\_tf\_use\_cudnn\_offload\_all\_reductions=True, xla\_tf\_use\_cudnn\_offload\_all\_scales=True, xla\_tf\_use\_cudnn\_offload\_all\_strided=True, xla\_tf\_use\_cudnn\_offload\_all\_transposed=True, xla\_tf\_use\_cudnn\_offload\_all\_dilations=True, xla\_tf\_use\_cudnn\_offload\_all\_pooling=True, xla\_tf\_use\_cudnn\_offload\_all\_spatial=True, xla\_tf\_use\_cudnn\_offload\_all\_depthwise=True, xla\_tf\_use\_cudnn\_offload\_all\_separable=True, xla\_tf\_use\_cudnn\_offload\_all\_batchnorm=True, xla\_tf\_use\_cudnn\_offload\_all\_activation=True, xla\_tf\_use\_cudnn\_offload\_all\_loss=True, xla\_tf\_use\_cudnn\_offload\_all\_embedding=True, xla\_tf\_use\_cudnn\_offload\_all\_softmax=True, xla\_tf\_use\_cudnn\_offload\_all\_avg\_pool=True, xla\_tf\_use\_cudnn\_offload\_all\_max\_pool=True, xla\_tf\_use\_cudnn\_offload\_all\_upsample=True, xla\_tf\_use\_cudnn\_offload\_all\_pad=True, xla\_tf\_use\_cudnn\_offload\_all\_reshape=True, xla\_tf\_use\_cudnn\_offload\_all\_concat=True, xla\_tf\_use\_cudnn\_offload\_all\_split=True, xla\_tf\_use\_cudnn\_offload\_all\_gather=True, xla\_tf\_use\_cudnn\_offload\_all\_scatter=True, xla\_tf\_use\_cudnn\_offload\_all\_reduce=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_gather=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_to\_all=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_to\_allv=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_sum=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_mean=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_prod=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_min=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_max=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_accum=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_gather\_nd=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_scatter\_nd=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_gather\_v2=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_scatter\_v2=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_sum\_v2=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_mean\_v2=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_prod\_v2=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_min\_v2=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_max\_v2=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_accum\_v2=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_gather\_nd\_v2=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_scatter\_nd\_v2=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_gather\_v3=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_scatter\_v3=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_sum\_v3=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_mean\_v3=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_prod\_v3=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_min\_v3=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_max\_v3=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_reduce\_accum\_v3=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_gather\_nd\_v3=True, xla\_tf\_use\_cudnn\_offload\_all\_all\_scatter\_nd\_v3=True, xla\_tf\_use\_cudnn\_offload\_all\_
|