add server

scripts/run_server.py

@@ -0,0 +1,26 @@
+from server import ModelServer
+import argparse
+
+if __name__ == '__main__':
+    arg_parser = argparse.ArgumentParser()
+    arg_parser.add_argument('--config_path', type=str, required=True)
+    arg_parser.add_argument('--model_path', type=str, required=True)
+    arg_parser.add_argument('--lora_path', type=str, default=None)
+    arg_parser.add_argument('--groupsize', type=int, default=-1)
+    arg_parser.add_argument('--v1', action='store_true')
+    arg_parser.add_argument('--quant_attn', action='store_true')
+    arg_parser.add_argument('--port', type=int, default=5555)
+    arg_parser.add_argument('--pub_port', type=int, default=5556)
+    args = arg_parser.parse_args()
+
+    server = ModelServer(
+        config_path=args.config_path,
+        model_path=args.model_path,
+        lora_path=args.lora_path,
+        groupsize=args.groupsize,
+        is_v1_model=args.v1,
+        quant_attn=args.quant_attn,
+        port=args.port,
+        pub_port=args.pub_port)
+
+    server.run()