Buduję produkt danych (aplikacja do czatu NLP), dla której uczę się kolby, dzięki czemu użytkownik może mieć lepsze interakcje z moim produktem.

Napisałem następujący kod w kolbie, aby uzyskać wejście użytkownika i przechowywać go w zmiennej.

main.py

from flask import Flask, render_template, request
app = Flask(__name__)

@app.route('/')
def index():
   return render_template('init.html')

@app.route('/handle_data', methods = ['POST', 'GET'])
def handle_data():
    userQuestion = request.form['userQuestion']
    print(userQuestion)
    return render_template('init.html', userQuestion = userQuestion)

if __name__ == '__main__':
   app.run()

init.html

<!DOCTYPE HTML>
<html>
<body>


<form action="{{ url_for('handle_data') }}" method="post">
    <input type="text" name="userQuestion">
    <input type="submit">
</form>

</body>
</html>

Obsługowałem dane formularza i przechowywałem go w zmiennej userQuestion. Chcę przekazać tę zmienną do innego skryptu Pythona, który zawiera kod mojego modelu treningowego.

doc2vec_main.py

import gensim
import nltk
import numpy
from gensim import models
from gensim import utils
from gensim import corpora
from nltk.stem import PorterStemmer
ps = PorterStemmer()

sentence0 = models.doc2vec.LabeledSentence(words=[u'sampling',u'what',u'is',u'sampling'],tags=["SENT_0"])
sentence1 = models.doc2vec.LabeledSentence(words=[u'sampling',u'tell',u'me',u'about',u'sampling'],tags=["SENT_1"])
sentence2 = models.doc2vec.LabeledSentence(words=[u'elig',u'what',u'is',u'my',u'elig'],tags=["SENT_2"])
sentence3 = models.doc2vec.LabeledSentence(words=[u'eligiblity',u'limit', u'what',u'is',u'my'],tags=["SENT_3"])
sentence4 = models.doc2vec.LabeledSentence(words=[u'eligiblity',u'claim',u'how',u'much',u'can',u'I'],tags=["SENT_4"])
sentence5 = models.doc2vec.LabeledSentence(words=[u'retir',u'eligibility',u'claim',u'i',u'am',u'how',u'much',u'can',u'i'],tags=["SENT_5"])
# ... list of all the training set.

# User inputs a question
document = input("Ask a question:")
tokenized_document = list(gensim.utils.tokenize(document, lowercase = True, deacc = True))
stemmed_document = []
for w in tokenized_document:
    stemmed_document.append(ps.stem(w))

sentence19 = models.doc2vec.LabeledSentence(words= stemmed_document, tags=["SENT_19"])

sentences = [sentence0,sentence1,sentence2,sentence3, sentence4, sentence5,sentence6, sentence7, sentence8, sentence9, sentence10, sentence11, sentence12, sentence13, sentence14, sentence15, sentence16, sentence17, sentence18, sentence19]

model = models.Doc2Vec(size=4, alpha=0.25, min_alpha=.025, min_count=1)
model.build_vocab(sentences)
for epoch in range(30):
    model.train(sentences, total_examples=model.corpus_count, epochs = 
    model.iter)
    model.alpha -= 0.002
    model.min_alpha = model.alpha
model.save("my_model.doc2vec")
model_loaded = models.Doc2Vec.load('my_model.doc2vec')
print (model.docvecs.most_similar(["SENT_19"]))

Moim problemem jest, że nie mogę znaleźć sposobu na podłączenie doc2vec_main.py do main.py i przekazać wartość userQuestion do zmiennej document w doc2main.py scenariusz. Oznacza to, że użytkownik wprowadza pytanie w formularzu i kliknie, wartość formularza zostanie przekazana do document w doc2vec_main.py i pozostały skrypt działa.

Szukałem dużo w Internecie, ale nie pomogłem. Czy możesz mi to zrobić, aby to zrobić? Jestem kompletnym początkującego w kolbie, więc wybacz mi na jakiś błąd.

0
K. K. 26 czerwiec 2017, 13:25

3 odpowiedzi

Najlepsza odpowiedź
import gensim
import nltk
import numpy
from gensim import models
from gensim import utils
from gensim import corpora
from nltk.stem import PorterStemmer
ps = PorterStemmer()

# load the model here
model_loaded = models.Doc2Vec.load('my_model.doc2vec')

from flask import Flask, render_template, request
app = Flask(__name__)

@app.route('/')
def index():
   return render_template('init.html')

@app.route('/handle_data', methods = ['POST', 'GET'])
def handle_data():
    userQuestion = request.form['userQuestion']
    print(userQuestion)
    q_vector = doc2vec_main(userQuestion)
    return render_template('init.html', userQuestion = userQuestion)

def doc2vec_main(document):
    """whatever you want to do with your pre-trained doc2vec model can go here. I assume that doc2vec_main meant to return vector for a given document. for training part of the code you should write a separate function."""
    # your code here!
    return "replace this with your vector"

if __name__ == '__main__':
   app.run()
1
Mehdi 26 czerwiec 2017, 11:08

Umieść skrypt w innym modułowi aplikacji, w zależności od funkcji, która przyjmuje jako argument zmienną, którą chcesz przetworzyć:

import gensim
import nltk
import numpy
from gensim import models
from gensim import utils
from gensim import corpora
from nltk.stem import PorterStemmer

def doc2vec(user_question):
    # your code here...

W widoku kolby na uchwycie_data przekaż wartość z formularza do swojej funkcji. Weź pod uwagę, że nie mogłaby nie działać w przypadku, gdy funkcja jest kosztowna, więc nie można czekać na wynik podczas normalnego przepływu żądania / odpowiedzi HTTP.

0
BangTheBank 27 czerwiec 2017, 08:04

Znalazłem możliwe rozwiązanie. W pliku skryptu Pythona Import SYS

Kiedy uruchomisz swój skrypt taki jak ten -> Python Doc2vec_main.py "Pytanie tutaj"

Możesz uzyskać dostęp do tej zmiennej

>>> import sys
>>> print(sys.argv)
>>>['doc2vec_main.py', 'question here']

Więc możesz po prostu użyć tego

document = sys.argv[1]

Dobra, znaleźliśmy sposób manualnie, ale musisz zautomatyzować z kolbą.

Wewnątrz aplikacji kolby import os

A następnie, gdy chcesz wykonać swój zewnętrzny skrypt

os.system("python doc2vec_main.py %s") % request.form['userQuestion']

Wiesz, że to będzie działać, ale nie byłoby lepiej zrobić to tylko w jednej aplikacji? byłoby lepiej.

2
Dimitris Filippou 26 czerwiec 2017, 10:53