27 lines
1008 B
Python
27 lines
1008 B
Python
from server import ModelServer
|
|
import argparse
|
|
|
|
if __name__ == '__main__':
|
|
arg_parser = argparse.ArgumentParser()
|
|
arg_parser.add_argument('--config_path', type=str, required=True)
|
|
arg_parser.add_argument('--model_path', type=str, required=True)
|
|
arg_parser.add_argument('--lora_path', type=str, default=None)
|
|
arg_parser.add_argument('--groupsize', type=int, default=-1)
|
|
arg_parser.add_argument('--v1', action='store_true')
|
|
arg_parser.add_argument('--quant_attn', action='store_true')
|
|
arg_parser.add_argument('--port', type=int, default=5555)
|
|
arg_parser.add_argument('--pub_port', type=int, default=5556)
|
|
args = arg_parser.parse_args()
|
|
|
|
server = ModelServer(
|
|
config_path=args.config_path,
|
|
model_path=args.model_path,
|
|
lora_path=args.lora_path,
|
|
groupsize=args.groupsize,
|
|
is_v1_model=args.v1,
|
|
quant_attn=args.quant_attn,
|
|
port=args.port,
|
|
pub_port=args.pub_port)
|
|
|
|
server.run()
|