Chcemy generować sekwencje tekstu oparte na treningu RNN na fragmentach tekstowych (które zrobiłem wcześniej w Wyroby takie jak).

Jednym krokiem jest podjęcie fragmentów tekstu i włamać je na kolejne, aby trenować model na:

c("E","X","A","M","P","L","E")

Stanie się

c("E")
c("E","X")
c("E","X","A")
...

Moją bieżącą metodą jest użycie mapy na każdym słowie:

require(tidyverse)

data <- data_frame(id = c(1,2),word = list(c("E","X","A","M","P","L","E"), c("R","S","T","U","D","I","O")))

result <- data %>%
  pmap(function(id,word){
    subs <- map(1:length(word),function(i) word[1:i])
    data_frame(id = id, sub = subs)
  }) %>%
  bind_rows()

Ale to jest bardzo wolno na dużych zestawach danych. Czy istnieje szybki sposób na wygenerowanie wszystkich tych częściowych sekwencji?

1
Jacqueline Nolis 5 czerwiec 2018, 05:56

3 odpowiedzi

Najlepsza odpowiedź

Szukasz Reduce za pomocą accumulate=TRUE

Reduce(c,a,accumulate = T)
[[1]]
[1] "E"

[[2]]
[1] "E" "X"

[[3]]
[1] "E" "X" "A"

[[4]]
[1] "E" "X" "A" "M"

[[5]]
[1] "E" "X" "A" "M" "P"

[[6]]
[1] "E" "X" "A" "M" "P" "L"

[[7]]
[1] "E" "X" "A" "M" "P" "L" "E"

W ten sposób dołącza to w danych, możesz zrobić:

data%>%
  group_by(id)%>%
  mutate(word=list(Reduce(c,unlist(word),accumulate = T)))%>%
  unnest()

Aby zrobić to samo w purrr Używasz funkcji accumulate

purrr::accumulate(a,c)

Chociaż jest to funkcja w purrr, jest zasadniczo wywołanie funkcji Reduce. to znaczy

purrr::accumulate
function (.x, .f, ..., .init) 
{
    .f <- as_mapper(.f, ...)
    f <- function(x, y) {
        .f(x, y, ...)
    }
    Reduce(f, .x, init = .init, accumulate = TRUE)#THIS IS USING THE BASE FUNCTION Reduce
}
<environment: namespace:purrr>
2
Onyambu 5 czerwiec 2018, 04:54

Okazuje się, że problem był wywołany {X0}} w funkcji mapy. Tworzenie ram danych jest powolny, najwyraźniej. Można to zrobić znacznie szybciej, jeśli poświęcisz za pomocą ramek danych i zamiast tego trzymać się list:

result <- data %>%
  pmap(function(id,word){
    map(1:length(word),function(i) list(id = id, sub = word[1:i]))
  }) %>%
  purrr::flatten()

Mam nadzieję, że mógłbym włączyć wszystko w data_frame na końcu przy użyciu bind_rows(), ale z jakiegoś powodu funkcja nie działa z kolumnami listy.

0
Jacqueline Nolis 5 czerwiec 2018, 03:30

Używanie lapply z zmniejszeniem może być jeszcze szybsze tutaj

x <- lapply(data$word, function(w){
    Reduce(c, w, accumulate = TRUE)}

Wtedy możesz wiązać je z powrotem do data_frame jako takie

id2 <- rep(id, unlist(lapply(x, length)))

data2 <- data_frame(id2, subs=unlist(x, recursive=FALSE))
0
Esther 5 czerwiec 2018, 04:43