15分钟从零开始搭建支持10w+用户的生产环境(四)

发表于 4年以前  | 总阅读数:541 次

上一篇文章,介绍了这个架构中,WebServer的选择,以及整个架构中扩展时的思路。

原文地址:15分钟从零开始搭建支持10w+用户的生产环境(三)

五、架构实践

前边用了三篇文章,详细介绍了这个架构的各个部分的选择以及安装。

这篇文章,我会用一个Demo项目,从开发到部署,包括MongoDB数据的访问。用这种方式过一遍这个架构。

Demo项目,我们用Dotnet Core开发。我们选择最新版的Dotnet Core 3.1做为系统的主框架。

开发环境用MacOS + VS Code,生产环境用云服务器。

第一步:环境检查和搭建

  1. 先看看各个环境的版本情况

生产环境:

$ cat /proc/version
Linux version 4.9.0-12-amd64 (debian-kernel@lists.debian.org) (gcc version 6.3.0 20170516 (Debian 6.3.0-18+deb9u1) ) #1 SMP Debian 4.9.210-1 (2020-01-20)

$ lsb_release -a
No LSB modules are available.
Distributor ID:    Debian
Description:    Debian GNU/Linux 9.12 (stretch)
Release:    9.12
Codename:    stretch

开发环境:

$ cat /System/Library/CoreServices/SystemVersion.plist
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
    <key>ProductBuildVersion</key>
    <string>19E287</string>
    <key>ProductCopyright</key>
    <string>1983-2020 Apple Inc.</string>
    <key>ProductName</key>
    <string>Mac OS X</string>
    <key>ProductUserVisibleVersion</key>
    <string>10.15.4</string>
    <key>ProductVersion</key>
    <string>10.15.4</string>
    <key>iOSSupportVersion</key>
    <string>13.4</string>
</dict>
</plist>

2.安装Dotnet Core 3.1

Dotnet Core官方下载地址:https://aka.ms/dotnet-download

Mac上边是以前装好的,看一下:

$ dotnet --info
.NET Core SDK (reflecting any global.json):
 Version:   3.1.201
 Commit:    b1768b4ae7

Runtime Environment:
 OS Name:     Mac OS X
 OS Version:  10.15
 OS Platform: Darwin
 RID:         osx.10.15-x64
 Base Path:   /usr/local/share/dotnet/sdk/3.1.201/

Host (useful for support):
  Version: 3.1.3
  Commit:  4a9f85e9f8

.NET Core SDKs installed:
  3.1.201 [/usr/local/share/dotnet/sdk]

.NET Core runtimes installed:
  Microsoft.AspNetCore.App 3.1.3 [/usr/local/share/dotnet/shared/Microsoft.AspNetCore.App]
  Microsoft.NETCore.App 3.1.3 [/usr/local/share/dotnet/shared/Microsoft.NETCore.App]

生产环境上边,安装步骤如下:

$ wget -O- https://packages.microsoft.com/keys/microsoft.asc | gpg --dearmor > microsoft.asc.gpg
$ sudo mv microsoft.asc.gpg /etc/apt/trusted.gpg.d/
$ wget https://packages.microsoft.com/config/debian/9/prod.list
$ sudo mv prod.list /etc/apt/sources.list.d/microsoft-prod.list
$ sudo chown root:root /etc/apt/trusted.gpg.d/microsoft.asc.gpg
$ sudo chown root:root /etc/apt/sources.list.d/microsoft-prod.list
$ sudo apt-get update
$ sudo apt-get install apt-transport-https
$ sudo apt-get update
$ sudo apt-get install dotnet-sdk-3.1

安装很简单,这要感谢Microsoft,没有误导,也不需要刨坑。

安装完检查一下:

$ dotnet --info
.NET Core SDK (reflecting any global.json):
 Version:   3.1.201
 Commit:    b1768b4ae7

Runtime Environment:
 OS Name:     debian
 OS Version:  9
 OS Platform: Linux
 RID:         debian.9-x64
 Base Path:   /usr/share/dotnet/sdk/3.1.201/

Host (useful for support):
  Version: 3.1.3
  Commit:  4a9f85e9f8

.NET Core SDKs installed:
  3.1.201 [/usr/share/dotnet/sdk]

.NET Core runtimes installed:
  Microsoft.AspNetCore.App 3.1.3 [/usr/share/dotnet/shared/Microsoft.AspNetCore.App]
  Microsoft.NETCore.App 3.1.3 [/usr/share/dotnet/shared/Microsoft.NETCore.App]

命令写顺手了,没有分SDK和Runtime,正常应用时,生产环境可以只装Runtime。命令是在最后装Dotnet的一步,用以下命令:

$ sudo apt-get install aspnetcore-runtime-3.1
$ sudo apt-get install dotnet-runtime-3.1

3.生产环境安装MongoDB

详细步骤参见:15分钟从零开始搭建支持10w+用户的生产环境(二)

4.生产环境安装Jexus

详细步骤参见:15分钟从零开始搭建支持10w+用户的生产环境(三)

第二步:开发环境创建Demo项目

  1. 找个目录,创建解决方案(这一步不是必须,不过我习惯这么做。总要有个解决方案来存放工程):
% dotnet new sln -o demo
The template "Solution File" was created successfully.

这一步完成后,会在当前目录建立一个新目录demo,同时,在demo目录下创建文件demo.sln。

2.在demo目录下,建立工程:

% dotnet new webapi -o demo
The template "ASP.NET Core Web API" was created successfully.

Processing post-creation actions...
Running 'dotnet restore' on demo/demo.csproj...
  Restore completed in 16.79 ms for /demo/demo/demo.csproj.

Restore succeeded.

3.把新建的工程加到解决方案中:

% dotnet sln add demo/demo.csproj 
Project `demo/demo.csproj` added to the solution.

4.检查一下现在的目录和文件结构:

其中有一个WeatherForecast,包含两个文件:WeatherForecast.cs和WeatherForecastController.cs,是创建工程时自带的演示类。

现在我们运行一下工程。可以用VSC的「运行」,也可以命令行:

% dotnet run

运行Demo工程。

运行后,从浏览器访问:http://localhost:5000/WeatherForecast,会得到一串演示数据。这就是上面这个演示类的效果。

正式项目中,这两个文件要删掉。

到这一步,基础工程就搭好了。

我们要做一个API服务,这个服务里要有几个API,要用到数据库访问。为了测试API,我们需要装个Swagger。当然用Postman也可以,不过我习惯用Swagger。

5.增加Swagger包引用。在demo.csproj的同级目录下运行:

% dotnet add package Swashbuckle.AspNetCore

Swagger装好后,需要在Startup.cs中注册。

在ConfigureServices中加入以下代码:

services.AddSwaggerGen(c =>
{
    c.SwaggerDoc("v1", new OpenApiInfo { Title = "My API", Version = "V1" });
});

在Configure中加入以下代码:

app.UseSwagger();
app.UseSwaggerUI(c =>
{
    c.SwaggerEndpoint("/swagger/v1/swagger.json", "My API V1");
});

完成后,Startup.cs的代码:

namespace demo
{
    public class Startup
    {
        public Startup(IConfiguration configuration)
        {
            Configuration = configuration;
        }

        public IConfiguration Configuration { get; }

        // This method gets called by the runtime. Use this method to add services to the container.
        public void ConfigureServices(IServiceCollection services)
        {
            services.AddSwaggerGen(c =>
            {
                c.SwaggerDoc("v1", new OpenApiInfo { Title = "My API", Version = "V1" });
            });

            services.AddControllers();
        }

        // This method gets called by the runtime. Use this method to configure the HTTP request pipeline.
        public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
        {
            if (env.IsDevelopment())
            {
                app.UseDeveloperExceptionPage();
            }

            app.UseRouting();

            app.UseAuthorization();

            app.UseSwagger();
            app.UseSwaggerUI(c =>
            {
                c.SwaggerEndpoint("/swagger/v1/swagger.json", "My API V1");
            });

           app.UseEndpoints(endpoints =>
            {
                endpoints.MapControllers();
            });
        }
    }
}

6.增加MongoDB支持

选择一:引用官方包MongoDB.Driver:

% dotnet add package MongoDB.Driver

后面用包提供的SDK进行开发。

选择二:引用包Lib.Core.Mongodb.Helper:

% dotnet add package Lib.Core.Mongodb.Helper

这是我自己维护的一个Helper开源包,对官方的MongoDB.Driver做了一定程序的包装和简化操作。这个包目前在我公司的生产环境中用着。

这个包的开源地址:https://github.com/humornif/Lib.Core.Mongodb.Helper

引用完成后,需要在appsettings.json中增加数据库连接串:

"MongoConnection": "mongodb://localhost:27017/admin?wtimeoutMS=2000"

完成后,appsettings.json的代码如下:

{
  "MongoConnection": "mongodb://localhost:27017/admin?wtimeoutMS=2000",
  "Logging": {
    "LogLevel": {
      "Default": "Information",
      "Microsoft": "Warning",
      "Microsoft.Hosting.Lifetime": "Information"
    }
  },
  "AllowedHosts": "*"
}

7.建立数据库操作类

在工程中创建一个目录Models,在目录下创建一个类文件Demo.cs:

using MongoDB.Bson;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading.Tasks;

namespace demo.Models
{
    public class Demo
    {
        public const string DATABASE = "DemoDB";
        public const string COLLECTION = "DemoCollection";

        public ObjectId _id { get; set; }
        public string demo_user_name { get; set; }
        public int demo_user_age { get; set; }
    }
}

在同一目录下,再创建另一个Dto类DemoDto.cs:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading.Tasks;

namespace demo.Models
{
    public class DemoDto
    {
        public string demo_user_name { get; set; }
        public int demo_user_age { get; set; }
    }
}

在工程中创建另一个目录DBContext,在目录下创建一个对应Demo类的数据库操作类DemoDBContext.cs:

using demo.Models;
using Lib.Core.Mongodb.Helper;
using MongoDB.Bson;
using MongoDB.Driver;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading.Tasks;

namespace demo.DBContext
{
    public class DemoDBContext : MongoHelper<Demo>
    {
          ///创建数据库操作索引
        protected override async Task CreateIndexAsync()
        {
        }
        public DemoDBContext() : base(Demo.DATABASE, Demo.COLLECTION)
        {

        }

          ///保存数据到数据库
        internal async Task<bool> saveData(DemoDto data)
        {
            Demo new_item = new Demo()
            {
                _id = ObjectId.GenerateNewId(),
                demo_user_name = data.demo_user_name,
                demo_user_age = data.demo_user_age,
            };

            bool result = await CreateAsync(new_item);
            return result;
        }

          ///从数据库查询全部数据
        internal async Task<IEnumerable<DemoDto>> getAllData()
        {
            var fetch_data = await SelectAllAsync();

            List<DemoDto> result_list = new List<DemoDto>();
            fetch_data.ForEach(p =>
            {
                DemoDto new_item = new DemoDto()
                {
                    demo_user_name = p.demo_user_name,
                    demo_user_age = p.demo_user_age,
                };
                result_list.Add(new_item);
            });
            return result_list;
        }
    }
}

这三个类的关系是:

  • Demo类是数据类,对应MongoDB数据库中保存的数据。Demo.DATABASE是数据库中的DB名称,Demo.COLLECTION是数据库中的Collection名称。这个类决定数据在数据库中的保存位置和保存内容。
  • DemoDta是Dta的映射类,在正式使用时,可以用AutoMap与Demo关联。在这个Demo中,我用它来做数据从前端到API的传递。
  • DemoDBContext是对Demo结构数据的数据库操作。这个类派生自Lib.Core.MongoDB.Helper中的父类MongoHelper。所有对Demo数据的操作全在这个类中进行。

8.创建API控制器

在Controller目录中,创建DemoController.cs:

using demo.DBContext;
using demo.Models;
using Microsoft.AspNetCore.Mvc;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Threading.Tasks;

namespace demo.Controllers
{
    [ApiController]
    [Route("[controller]")]
    public class DemoController : ControllerBase
    {
        [HttpPost]
        [Route("savedata")]
        public ActionResult<string> saveData(DemoDto data)
        {
            DemoDBContext dc = new DemoDBContext();
            bool result = dc.saveData(data).GetAwaiter().GetResult();

            if(result)
                return "OK";
            return "ERROR";
        }

        [HttpGet]
        [Route("getdata")]
        public IEnumerable<DemoDto> getData()
        {
            DemoDBContext dc = new DemoDBContext();
            return dc.getAllData().GetAwaiter().GetResult();
        }
    }
}

在这个控制器中,做了两个API:

  • 基于POST的savedata,用来写入数据到数据库;
  • 基于GET的getdata,用来从数据库读取数据到前端。

数据库的操作,调用了DemoDBContext中写好的两个数据库操作方法。

数据库操作的完整方法,可以参见https://github.com/humornif/Lib.Core.Mongodb.Helper的详细说明。

9.检查一下现在的工程目录结构:

10.测试运行

在VSC中点击运行,或者命令行输入:

% dotnet run

等程序加载完成,可以访问http://localhost:5000/swagger,进行访问,并测试两个API。

第三步:发布到生产环境

  1. 发布应用

前边说了,开发环境是MAC,生产环境是Debian 9 x64,所以会涉及到一个跨平台的发布。

事实上,跨平台发布也很简单。这个应用的目的环境是Linux-64,所以,发布命令是:

% dotnet publish -r linux-x64

发布完成后,系统会显示发布的目录。这个项目,发布目录在demo/bin/Debug/netcoreapp3.1/linux-x64/publish。

2.打包传到服务器,并解包到一个目录。在这个演示中,我解包到了服务器的/var/demo。 3.在服务器Jexus中配置网站。

在/usr/jexus/siteconf中建立网站配置文件demo.80(文件名可以随便起,我的习惯是网站名称+端口号):

######################
# Web Site: DEMO
########################################

port=80
root=/ /var/demo
hosts=*    #OR your.com,*.your.com

# User=www-data

# AspNet.Workers=2  # Set the number of asp.net worker processes. Defauit is 1.

# addr=0.0.0.0
# CheckQuery=false
NoLog=true

AppHost={cmd=dotnet demo.dll; root=/var/demo; port=5000}

# NoFile=/index.aspx
# Keep_Alive=false
# UseGZIP=false

# UseHttps=true
# ssl.certificate=/x/xxx.crt  #or pem
# ssl.certificatekey=/x/xxx.key
# ssl.protocol=TLSv1.0 TLSv1.1 TLSv1.2
# ssl.ciphers=ECDHE-RSA-AES256-GCM-SHA384:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4:!DH:!DHE 

# DenyFrom=192.168.0.233, 192.168.1.*, 192.168.2.0/24
# AllowFrom=192.168.*.*
# DenyDirs=~/cgi, ~/upfiles
# indexes=myindex.aspx

# Deny asp ...
rewrite=^/.+?\.(asp|cgi|pl|sh|bash|dll)(\?.*|)$  /.deny->$1
rewrite=.*/editor/.+                             /.deny->editor
# reproxy=/bbs/ http://192.168.1.112/bbs/
# host.Redirect=abc.com www.abc.com  301
# ResponseHandler.Add=myKey:myValue
ResponseHandler.Add=X-Frame-Options:SAMEORIGIN

# Jexus php fastcgi address is '/var/run/jexus/phpsvr'
#######################################################
# fastcgi.add=php|socket:/var/run/jexus/phpsvr

# php-fpm listen address is '127.0.0.1:9000'
############################################
# fastcgi.add=php|tcp:127.0.0.1:9000

在这个演示项目里,起作用的配置其实就一行:

AppHost={cmd=dotnet demo.dll; root=/var/demo; port=5000}

这一行配置了三件事:

  • 应用的运行命令是:dotnet demo.dll
  • 应用的运行目录是:/var/demo
  • 应用的运行端口是:5000

这样配置就完成了。

接下来,启动网站,在/usr/jexus中运行:

$ sudo ./jws start

网站就启动起来了。

第四步:测试

在本地浏览器中,输入:http://server_ip/swagger,跟在开发环境测试效果完全一样,可以进行数据库的写入和读取操作。

Done !!!

我把上面的代码,传到了Github上,需要了可以拉下来直接使用。

代码地址:https://github.com/humornif/Demo-Code/tree/master/0005/demo

 相关推荐

刘强东夫妇:“移民美国”传言被驳斥

京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而,京东官方通过微博发言人发布的消息澄清了这些传言,称这些言论纯属虚假信息和蓄意捏造。

发布于:1年以前  |  808次阅读  |  详细内容 »

博主曝三大运营商,将集体采购百万台华为Mate60系列

日前,据博主“@超能数码君老周”爆料,国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。

发布于:1年以前  |  770次阅读  |  详细内容 »

ASML CEO警告:出口管制不是可行做法,不要“逼迫中国大陆创新”

据报道,荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦(ASML)CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。

发布于:1年以前  |  756次阅读  |  详细内容 »

抖音中长视频App青桃更名抖音精选,字节再发力对抗B站

今年早些时候,抖音悄然上线了一款名为“青桃”的 App,Slogan 为“看见你的热爱”,根据应用介绍可知,“青桃”是一个属于年轻人的兴趣知识视频平台,由抖音官方出品的中长视频关联版本,整体风格有些类似B站。

发布于:1年以前  |  648次阅读  |  详细内容 »

威马CDO:中国每百户家庭仅17户有车

日前,威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”,同时,他发文表示:中国汽车普及率低于非洲国家尼日利亚,每百户家庭仅17户有车。意大利世界排名第一,每十户中九户有车。

发布于:1年以前  |  589次阅读  |  详细内容 »

研究发现维生素 C 等抗氧化剂会刺激癌症生长和转移

近日,一项新的研究发现,维生素 C 和 E 等抗氧化剂会激活一种机制,刺激癌症肿瘤中新血管的生长,帮助它们生长和扩散。

发布于:1年以前  |  449次阅读  |  详细内容 »

苹果据称正引入3D打印技术,用以生产智能手表的钢质底盘

据媒体援引消息人士报道,苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后,3D系统一度大涨超10%,不过截至周三收盘,该股涨幅回落至2%以内。

发布于:1年以前  |  446次阅读  |  详细内容 »

千万级抖音网红秀才账号被封禁

9月2日,坐拥千万粉丝的网红主播“秀才”账号被封禁,在社交媒体平台上引发热议。平台相关负责人表示,“秀才”账号违反平台相关规定,已封禁。据知情人士透露,秀才近期被举报存在违法行为,这可能是他被封禁的部分原因。据悉,“秀才”年龄39岁,是安徽省亳州市蒙城县人,抖音网红,粉丝数量超1200万。他曾被称为“中老年...

发布于:1年以前  |  445次阅读  |  详细内容 »

亚马逊股东起诉公司和贝索斯,称其在购买卫星发射服务时忽视了 SpaceX

9月3日消息,亚马逊的一些股东,包括持有该公司股票的一家养老基金,日前对亚马逊、其创始人贝索斯和其董事会提起诉讼,指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。

发布于:1年以前  |  444次阅读  |  详细内容 »

苹果上线AppsbyApple网站,以推广自家应用程序

据消息,为推广自家应用,苹果现推出了一个名为“Apps by Apple”的网站,展示了苹果为旗下产品(如 iPhone、iPad、Apple Watch、Mac 和 Apple TV)开发的各种应用程序。

发布于:1年以前  |  442次阅读  |  详细内容 »

特斯拉美国降价引发投资者不满:“这是短期麻醉剂”

特斯拉本周在美国大幅下调Model S和X售价,引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金(Future Fund)管理合伙人加里·布莱克发帖称,降价是一种“短期麻醉剂”,会让潜在客户等待进一步降价。

发布于:1年以前  |  441次阅读  |  详细内容 »

光刻机巨头阿斯麦:拿到许可,继续对华出口

据外媒9月2日报道,荷兰半导体设备制造商阿斯麦称,尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效,但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。

发布于:1年以前  |  437次阅读  |  详细内容 »

马斯克与库克首次隔空合作:为苹果提供卫星服务

近日,根据美国证券交易委员会的文件显示,苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元(约 4.65 亿元人民币)。用于在 2023-2025 年期间,发射卫星,进一步扩展苹果 iPhone 系列的 SOS 卫星服务。

发布于:1年以前  |  430次阅读  |  详细内容 »

𝕏(推特)调整隐私政策,可拿用户发布的信息训练 AI 模型

据报道,马斯克旗下社交平台𝕏(推特)日前调整了隐私政策,允许 𝕏 使用用户发布的信息来训练其人工智能(AI)模型。新的隐私政策将于 9 月 29 日生效。新政策规定,𝕏可能会使用所收集到的平台信息和公开可用的信息,来帮助训练 𝕏 的机器学习或人工智能模型。

发布于:1年以前  |  428次阅读  |  详细内容 »

荣耀CEO谈华为手机回归:替老同事们高兴,对行业也是好事

9月2日,荣耀CEO赵明在采访中谈及华为手机回归时表示,替老同事们高兴,觉得手机行业,由于华为的回归,让竞争充满了更多的可能性和更多的魅力,对行业来说也是件好事。

发布于:1年以前  |  423次阅读  |  详细内容 »

AI操控无人机能力超越人类冠军

《自然》30日发表的一篇论文报道了一个名为Swift的人工智能(AI)系统,该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。

发布于:1年以前  |  423次阅读  |  详细内容 »

AI生成的蘑菇科普书存在可致命错误

近日,非营利组织纽约真菌学会(NYMS)发出警告,表示亚马逊为代表的电商平台上,充斥着各种AI生成的蘑菇觅食科普书籍,其中存在诸多错误。

发布于:1年以前  |  420次阅读  |  详细内容 »

社交媒体平台𝕏计划收集用户生物识别数据与工作教育经历

社交媒体平台𝕏(原推特)新隐私政策提到:“在您同意的情况下,我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”

发布于:1年以前  |  411次阅读  |  详细内容 »

国产扫地机器人热销欧洲,国产割草机器人抢占欧洲草坪

2023年德国柏林消费电子展上,各大企业都带来了最新的理念和产品,而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。

发布于:1年以前  |  406次阅读  |  详细内容 »

罗永浩吐槽iPhone15和14不会有区别,除了序列号变了

罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品,具体内容为:“以我对我‘子公司’的了解,我认为 iPhone 15 跟 iPhone 14 不会有什么区别的,除了序(列)号变了,这个‘不要脸’的东西,这个‘臭厨子’。

发布于:1年以前  |  398次阅读  |  详细内容 »
 相关文章
Android插件化方案 5年以前  |  237332次阅读
vscode超好用的代码书签插件Bookmarks 2年以前  |  8178次阅读
 目录