Развертывание модели машинного обучения

полный стек

предисловие

Образование и позиционирование

Недавно на одном форуме некоторые пользователи сети спросили: нужна ли вам степень доктора или магистра, чтобы заниматься машинным обучением? Высшее или среднее образование, шансов нет? Судя по недавнему набору в компанию, планка инженеров-алгоритмистов действительно повысилась. Однако в некоторых бизнес-подразделениях по-прежнему требуется много рабочей силы для выполнения сцены посадки. Каждый должен найти свою позицию, и в компании тоже есть должность своего отдела. Если нужно публиковать статьи, прочно закрепиться в академических кругах и дать инвесторам уверенность в том, что «мы придаем большое значение новейшим технологиям», то докторская степень действительно очень важна. С другой стороны, с практической точки зрения, аспиранты и студенты бакалавриата могут быть более рентабельными. Конечно, как человеку, работающему с небольшой базы и не имеющему богатого практического опыта, если есть возможность, лучше получить степень магистра или выше. Практический опыт здесь, например: построение полной системы, включающей модели алгоритмов, серверную часть и интерфейсную часть.

Прагматизм модельных алгоритмов

Прагматизм машинного обучения не в количестве статей, а в правильном решении правильных задач. Как инженер позади, помимо настройки параметров, написания sql, быть настройщиком, мальчиком sql и мальчиком-отчетником, как упоминалось в предыдущих статьях, мы должны научиться делать правильную презентацию и выполнять полный набор инженерной реализации. Ведь дождаться расписания тяжело, в некоторых случаях ресурсов фронтенда и бэкенда не хватает, или приоритет очень низкий, тогда нужно делать самому. Ниже приведенная выше классификация спама используется в качестве примера, чтобы проиллюстрировать, как построить полную систему машинного обучения на переднем и заднем концах.

Обратите внимание на публичный аккаунт WeChat: Mr. Grain, загрузите файл веса и получите обновление как можно скорее.

Эта задача разбита на три части. Внутренний flask, внешний интерфейс Vue и модель ML используют чутье, а адрес проектаkuhung/flask_vue_ML

внутренняя колба

Установка связанных зависимостей

pip install -r requirements.txt

основная функция

  1. Пакет функций импорта
from flask import Flask, jsonify, request
from flask_cors import CORS # 做跨域的准备
from flask import session # 追踪客户端会话

from flair.models import TextClassifier # 模型导入，采用前不久开源的 flair 做文本分类
from flair.data import Sentence
  1. Готов к работе
app = Flask(__name__) # 声明准备
app.secret_key = "super_secret_key"

CORS(app)
classifier = TextClassifier.load_from_file('models/best-model.pt') # 模型加载
  1. Настроить маршрут фляги
# 根路由配置
@app.route('/', methods=['GET'])
def index():
    return jsonify("welcome to Kuhung API")

# GET 方法，这里 session 的作用是追踪客户端会话，防止重复请求模型
@app.route('/api/tasks', methods=['GET'])
def get_result():
    result = []
    try:
        data_result = session['my_result']
        result.append ({'title': data_result['title'], 'tag': data_result['tag'] })
    except:
        result.append ({'title': 'The txt you input', 'tag': 'spam or ham' })
    return jsonify(result)

# POST 方法
@app.route('/api/task', methods=['POST'])
def input_predict_text():

    title = request.get_json()['title'] # 解析请求

    sentence = Sentence(title) # 对请求做数据预处理
    classifier.predict(sentence) # 调用模型，做预测，返回带标签的数据

    text = sentence.to_plain_string() # 解析出原始数据
    label = sentence.labels[0] # 解析出标签
    result = {'title' : text, 'tag' : label.value} # 拼接成字典格式
    session['my_result'] = result # 存入 session ，以减少重复请求对模型的压力
    
    return jsonify(result) # 返回 json 格式的数据

if __name__ == '__main__':
    app.run(debug=True)  # 开发过程中开启 debug 调试模式

запустить службу

python app.py

внешний вид

Передняя часть использует структуру Vue и отделена от задней части. Используйте Webpack для управления ресурсами и упаковки.

Установка связанных зависимостей

npm install -g vue-cli
npm install

пользовательский компонент

пройти черезvue init webpack flask_vue_MLПосле этого войдите в папку проекта и добавьте пользовательский контент.

index.html


<!DOCTYPE html>
<html>
  <head>
    <meta charset="utf-8">
    <meta name="viewport" content="width=device-width,initial-scale=1.0">
    <title>exposemodel</title>
  </head>
  <body>
    <div id="app"></div>
    <!-- 其它文件会自动注入这里 -->
  </body>
</html>

папка src

  • components
    • Home.vue // Пользовательские компоненты, добавить
  • router
    • index.js // маршрут, изменение
  • App.vue // основной компонент, модифицированный
  • main.js // входной файл, изменить
Home.vue

Основной стиль страницы определяется здесь, и логика данных получается.

<template>
  <div id="todo-list-example" class="container">
    <!-- 我是进度条，最上方的 -->
    <vue-progress-bar></vue-progress-bar>
    <div class="row">
      <div class="col-md-6 mx-auto">
        <h1 class="text-center">Natural Language Processing (NLP)</h1>
        <form v-on:submit.prevent="addNewTask">
          <label for="tasknameinput">Spam Classification</label>
          <input v-model="taskname" type="text" id="tasknameinput" class="form-control" placeholder="Enter Sentence">
          <button type="submit" class="btn btn-success btn-block mt-3">
            Submit
          </button>
        </form>
          
<!-- 省略表格定义内容 -->


<script>
// 这里解决跨域请求问题，向后端发起请求
import axios from 'axios'

export default {
  data () {
    return {
      textClassify: [],
      id: '',
      taskname: '',
      isEdit: false
    }
  },
  mounted () {
    this.getTasks()
  },
    
// 省略进度条内容
    
// 请求任务相关操作
    getTasks () {
      axios({ method: 'GET', url: '/api/tasks' }).then(
        result => {
          console.log(result.data)
          this.textClassify = result.data
        },
        error => {
          console.error(error)
        }
      )
    },
</script>
​```
index.js

Определение маршрутов, установка путей доступа и связывание путей с компонентами

import Vue from 'vue'
import Router from 'vue-router'
import Home from '@/components/Home'

Vue.use(Router)

export default new Router({
  routes: [
    {
      path: '/',
      name: 'Home',
      component: Home
    }
  ]
})
App.vue

главный компонент

<template>
  <div id="app">
    <router-view/>
    <!-- 植入一波广告：微信搜索：谷粒先生，关注我的公众号 -->
    <img src="./assets/wechat.jpg">
  </div>
</template>

<script>
export default {
  name: 'App'
}
</script>

<style>
#app {
  font-family: 'Avenir', Helvetica, Arial, sans-serif;
  -webkit-font-smoothing: antialiased;
  -moz-osx-font-smoothing: grayscale;
  text-align: center;
  color: #2c3e50;
  margin-top: 60px;
}
</style>
main.js

Инициализируйте экземпляр и загрузите необходимые плагины

// The Vue build version to load with the `import` command
// (runtime-only or standalone) has been set in webpack.base.conf with an alias.
import Vue from 'vue'
import App from './App'
import router from './router'
import VueProgressBar from 'vue-progressbar'
require('../node_modules/bootstrap/dist/css/bootstrap.css')

Vue.config.productionTip = false

// 这是进度条
Vue.use(VueProgressBar, {
  color: 'rgb(143, 255, 199)',
  failedColor: 'red',
  height: '10px'
})

/* eslint-disable no-new */
new Vue({
  el: '#app',
  router,
  components: { App },
  template: '<App/>'
})

запустить службу

npm run dev

модельное чутье

Модель здесь использует справедливую структуру, которая была выпущена в конце 2018 года, а простота использования и эффект были значительно улучшены по сравнению с предыдущей схемой. Здесь напрямую используется вес модели классификации спама, обученной официальной выборкой, то есть файл, прочитанный в бэкенде выше. Обратите внимание на мой паблик: Мистер Зерно, ответьтеВеса, вы можете получить ссылку на файл весов ?.

вызов модели


from flair.models import TextClassifier # 模型导入，采用前不久开源的 flair 做文本分类
from flair.data import Sentence

classifier = TextClassifier.load_from_file('models/best-model.pt') # 模型加载

sentence = Sentence(title) # 对请求做数据预处理
classifier.predict(sentence) # 调用模型，做预测，返回带标签的数据

Показать результаты

В этом руководстве создается набор «полных» фреймворков с разделением интерфейса и сервера для сцены классификации текста, что может дать вам наиболее интуитивное ощущение. Конечно, еще много места для оптимизации, а доработка и другие вопросы детально не проработаны, желающие студенты могут искать и учиться сами. С помощью этого процесса вы можете построить модель алгоритма прагматической философии на тестовом сервере. Достаточно показать его руководителю или использовать внутри компании. адрес проектаkuhung/flask_vue_ML

Доступ к веб-сайту терминала

Обратите внимание на публичный аккаунт WeChat: Mr. Grain, загрузите файл веса и получите обновление как можно скорее.

Если вам нравятся мои друзья, не забудьте поставить лайк ?, поставить лайк ❤ + подписаться ? О, ваша поддержка - самая большая поддержка для меня~?

Категории