Seydou GORO
Seydou GORO

Reputation: 1285

How to do datamanagement on data chunks

structure(list(ano_date = c("0", "0", "0", "0", "0", "0", "0", 
"0", "0", "0", "159", "0", "0", "0", "0", "330", "0", "0", "0", 
"0", "0", "0", "0", "0", "189", "0", "34", "0", "64", "78", "0", 
"0", "66", "0", "0", "14", "65", "240", "0", "154", "161", "175", 
"189", "0", "0", "0", "0", "0", "0", "0", "0", "0", "34", "0", 
"0", "0", "0", "0", "0", "0", "0", "0", "0", "0", "0", "32", 
"74", "121", "3730", "3541", "3443", "3632", "3582", "4734", 
"4734", "4614", "4928", "5121", "5120", "5640", "6563", "6400", 
"6443", "22177", "23354", "22087", "22233", "22229", "22277", 
"22274", "23125", "24003", "23984", "23728", "23756", "22559", 
"23913", "24171", "22622", "22603", "25344", "25217", "23417", 
"22988", "22980", "24003", "22821", "23077", "22982", "22965", 
"22871", "22867", "24448", "24635", "25822", "25561", "23058", 
"25033", "26529", "24956", "24922", "24780", "25031", "23437", 
"23315", "23434", "26584", "26528", "26279", "26307", "26533", 
"23333", "23452", "23815", "22992", "24612", "23048", "25827", 
"23568", "26454", "23735", "24550", "24909", "24893", "24724", 
"22490", "22518", "23251", "25110", "26692", "25165", "26371", 
"26941", "26193", "25923", "26126", "22740", "23901", "23991", 
"23931", "24085", "23160", "23371", "26797", "26992", "27000", 
"25158", "25399", "25348", "25277", "22875", "23598", "23531", 
"22809", "23559", "25556", "27332", "27310", "26674", "26801", 
"24183", "24127", "24175", "24263", "25333", "23775", "23491", 
"23594", "23776", "26527", "26345", "24405", "24443", "25295", 
"25319", "23843", "23229", "25507", "25508", "23974", "23967", 
"26070", "23952", "23347", "27718", "25471", "25492", "25431", 
"26097", "26110", "27353", "24347", "24540", "24449", "24221", 
"24288", "24242", "27441", "27679", "27533", "26740", "26850", 
"23525", "24638", "25728", "24888", "24896", "26842", "26740", 
"26596", "27663", "24763", "24647", "24786", "27683", "27608", 
"25813", "25809", "26048", "24042", "24207", "24492", "23704", 
"26836", "23543", "26398", "27805", "27500", "27675", "27543", 
"24694", "24900", "28050", "24468", "27091", "24113", "26105", 
"26097", "25124", "25041", "26383", "25044", "25086", "27967", 
"26340", "24750", "24789", "24836", "24832", "24826", "24821", 
"24856", "24829", "24818", "24843", "24862", "24835", "24850", 
"24827", "24849", "24839", "24840", "24855", "24847", "24814", 
"24807", "24834", "24844", "24854", "24822", "24857", "24860", 
"24837", "24828", "24848", "24825", "24815", "24819", "26842", 
"25271", "28346", "28445", "28295", "25294", "24172", "26472", 
"24820", "25659", "27596", "28417", "28289", "26853", "26733", 
"26737", "24986", "25136", "25240", "26654", "26621", "24948", 
"27569", "28367", "28122", "28227", "25184", "25190", "27060", 
"27053", "28369", "28108", "28212", "25618", "28624", "25015", 
"25031", "25080", "25021", "27888", "24615", "24809", "26567", 
"24934", "26609", "26627", "26802", "27163", "27097", "26919", 
"26898", "25174", "28037", "28024", "28627", "28504", "27730", 
"24644", "24651", "27318", "28711", "28809", "28508", "26017", 
"28988", "29172", "29143", "25562", "28153", "25891", "25891", 
"25160", "25413", "27119", "28353", "28365", "27356", "27488", 
"27317", "27434", "25844", "28993", "29109", "26119", "29345", 
"29368", "26178", "25573", "25289", "25575", "28756", "28429", 
"28410", "26686", "27924", "27976", "25477", "25287", "28553", 
"28567", "29836", "28113", "28119", "28255", "28140", "29259", 
"29299", "26545", "29821", "26041", "29066", "25673", "27797", 
"27917", "27874", "28218", "28221", "28214", "28223", "28211", 
"28225", "28216", "28850", "27019", "27076", "25673", "26041", 
"29912", "29725", "29731", "27874", "27797", "27917", "26545", 
"28281", "28161", "28255", "28140", "28113", "28252", "28160", 
"28328", "28237", "28283", "28222", "28267", "28298", "28175", 
"28206", "29543", "28043", "28130", "28147", "28036", "29299", 
"28151", "29259", "28148", "28155", "28146", "28185", "28131", 
"28141", "28144", "28158", "27978", "28139", "26570", "29821", 
"28328", "25818", "29055", "29069", "28389", "26487", "28885", 
"28947", "29066", "29900", "29836", "24003", "23984", "24067", 
"24724", "24893", "24909", "24612", "25348", "25277", "25158", 
"25399", "25333", "25813", "25809", "26048", "25728", "27924", 
"28161", "28281"), dp = c("E668", "E6600", "E6601", "E669", "E669", 
"E6601", "E669", "E6601", "E6621", "E6601", "I200", "E6601", 
"E6600", "E6681", "E6601", "R13", "E662", "E6601", "E6680", "E6601", 
"E6601", "E6691", "K318", "E6601", "D126", "E6601", "E6601", 
"E6601", "T813", "K311", "E6601", "E6601", "N850", "E6601", "E6681", 
"Z098", "Z713", "Z713", "E660", "Z511", "Z511", "Z511", "Z511", 
"E669", "E6601", "E669", "E6691", "E6600", "E6601", "E6601", 
"E6601", "E660", "Z4588", "E662", "E669", "E669", "E6601", "E6691", 
"E669", "E6681", "E6681", "E6620", "E6600", "E6691", "E6621", 
"Z090", "S933", "Z090", "E6601", "E669", "E6601", "E669", "T509", 
"R104", "K298", "K800", "Z422", "O049", "O991", "E669", "E281", 
"O223", "O034", "E6601", "Z423", "T509", "R42", "R074", "Z4588", 
"K219", "T8550", "C480", "E6699", "K918", "K311", "E6601", "Z302", 
"K802", "E6601", "Z514", "E6600", "T8550", "K591", "Z4580", "N201", 
"G402", "E6601", "Z090", "E6601", "K589", "R104", "R074", "M9428", 
"M235", "Z098", "E65", "Z8000", "R13", "T8550", "E6601", "K296", 
"Z470", "N733", "T8550", "N62", "E6601", "Z512", "Z5130", "Z5130", 
"D509", "A090", "E6691", "E6691", "Z04802", "A6308", "N62", "K439", 
"O601", "N201", "M171", "Z090", "I442", "K222", "K222", "O049", 
"Z098", "Z411", "T432", "E6600", "I309", "M8416", "K073", "Z512", 
"E6601", "N840", "K293", "O420", "E6601", "Z090", "Z090", "Z090", 
"A6308", "Z090", "Z470", "Z428", "N201", "O049", "R102", "K222", 
"G439", "Z090", "F100", "D320", "S5250", "F1000", "O800", "O990", 
"Z512", "T8550", "Z04802", "J040", "E6601", "E6601", "Z713", 
"R102", "K529", "L022", "M5460", "D351", "N882", "N871", "O049", 
"T424", "Z04802", "I350", "Z502", "Z090", "R074", "I209", "D320", 
"Z502", "G560", "Z8000", "Z470", "Z358", "E6600", "R101", "Z04801", 
"K293", "Z512", "R060", "E6601", "E6601", "E6601", "Z090", "E6601", 
"T509", "M159", "M064", "G811", "Z312", "Z312", "O420", "Z090", 
"G560", "O321", "O244", "Z512", "K802", "J342", "N858", "K432", 
"I839", "K650", "O800", "O244", "K449", "K440", "R104", "N938", 
"S4220", "F100", "Z090", "K565", "M2116", "Z512", "O800", "E6601", 
"E6601", "Z04802", "Z090", "Z090", "M064", "I456", "O601", "Z04802", 
"Z512", "Z512", "O049", "Z86001", "G431", "Z090", "K911", "K210", 
"O049", "D320", "F100", "Z5101", "Z5101", "Z5101", "Z5101", "Z5101", 
"Z5101", "Z5101", "Z5101", "Z5101", "Z5101", "Z5101", "Z5101", 
"Z5101", "Z5101", "Z5101", "Z5101", "Z5101", "Z5101", "Z5100", 
"Z5101", "Z5101", "Z5101", "Z5101", "Z5101", "Z5101", "Z5101", 
"Z5101", "Z5101", "Z5101", "Z5101", "Z5101", "O800", "Z090", 
"T840", "M179", "M6514", "M1991", "E6603", "Z098", "Z4588", "N23", 
"N302", "Z524", "K801", "R11", "G442", "Z097", "Z098", "K704", 
"D320", "I209", "I200", "Z090", "G560", "Z312", "Z314", "Z312", 
"Z5100", "Z5101", "Z512", "Z512", "Z098", "Z098", "Z098", "L998", 
"G551", "K219", "Z04802", "E6605", "E6605", "Z312", "E65", "E65", 
"E6606", "E6606", "E6604", "R520", "R51", "G938", "F508", "H260", 
"H260", "A411", "M480", "M6534", "Z312", "Z312", "I258", "H269", 
"H269", "Z512", "I269", "Z512", "Z098", "Z512", "M073", "M153", 
"T840", "E65", "O800", "N23", "N201", "E65", "D27", "M4317", 
"D594", "D648", "Z5188", "K296", "M5416", "G551", "E230", "D227", 
"Z512", "T424", "Z099", "Z512", "Z038", "Z5188", "E65", "Z5188", 
"N830", "Z512", "L023", "S6261", "Z312", "N179", "S3200", "T796", 
"Z512", "D508", "Z512", "D508", "D508", "K296", "D508", "Z512", 
"Z312", "Z421", "T840", "F102", "K122", "Z098", "I208", "R5210", 
"Z04880", "Z491", "Z491", "Z491", "Z491", "Z491", "Z491", "Z491", 
"S315", "K610", "I831", "Z098", "F102", "Z04802", "Z04802", "Z04802", 
"Z04880", "I208", "R5210", "Z421", "Z312", "Z312", "K296", "D508", 
"D508", "Z491", "Z491", "Z491", "Z491", "Z491", "Z491", "Z491", 
"Z491", "Z491", "Z491", "Z512", "I249", "I5000", "Z490", "I255", 
"Z312", "Z491", "Z512", "Z491", "Z491", "Z491", "Z490", "I5010", 
"Z491", "Z491", "Z491", "N178", "Z491", "E231", "T840", "Z491", 
"Z411", "H268", "H268", "K439", "M62890", "K565", "M161", "K122", 
"O800", "Z512", "C480", "E6699", "N830", "O049", "K222", "K222", 
"N62", "K222", "G439", "O049", "R102", "R102", "K449", "K440", 
"R104", "G560", "Z312", "Z312", "Z312"), anonyme_crypt = c("20bb7a9baa", 
"5e88ee6989", "8a6cde7f70", "8d8a1b8855", "5f56b0307b", "b3dbdc3a98", 
"bc11c53b68", "9b475a83e3", "1af17ee095", "2235b9a962", "2235b9a962", 
"4b794f275c", "29372d0902", "c3f3c8c7fe", "d0612fc5fd", "d0612fc5fd", 
"4dfc34f04f", "c598a6e0ca", "0816a336ad", "d25a6cb8ae", "0d95653f4a", 
"d26f0b14cc", "cb980962cc", "bc2931837e", "bc2931837e", "254b0d0e1a", 
"254b0d0e1a", "ef576a138c", "ef576a138c", "ef576a138c", "8bee721848", 
"96b4cbdc54", "96b4cbdc54", "02c66b7995", "15e6fe43ab", "15e6fe43ab", 
"15e6fe43ab", "15e6fe43ab", "6cadf6328d", "6cadf6328d", "6cadf6328d", 
"6cadf6328d", "6cadf6328d", "9bb35516bb", "4f242f55be", "aa37e4aad4", 
"7261115b81", "d068a8694a", "d6a2c09255", "286f918c37", "4f9d32a87c", 
"0e1941d2a4", "0e1941d2a4", "48d7f3dd82", "14c3f688bd", "e33da33b88", 
"d0f99296a1", "59d7288adb", "f65bdce85f", "94bbc91737", "c83af071ba", 
"a9f3188d47", "6056a96d2f", "2d613f44b2", "6c5d9095a4", "6c5d9095a4", 
"6c5d9095a4", "6c5d9095a4", "254b0d0e1a", "254b0d0e1a", "254b0d0e1a", 
"254b0d0e1a", "254b0d0e1a", "d0612fc5fd", "d0612fc5fd", "d0612fc5fd", 
"d0612fc5fd", "8d8a1b8855", "8d8a1b8855", "5f56b0307b", "bc11c53b68", 
"cb980962cc", "cb980962cc", "254b0d0e1a", "d0612fc5fd", "254b0d0e1a", 
"254b0d0e1a", "254b0d0e1a", "bc2931837e", "bc2931837e", "4f9d32a87c", 
"8d8a1b8855", "8d8a1b8855", "15e6fe43ab", "15e6fe43ab", "254b0d0e1a", 
"d0612fc5fd", "d25a6cb8ae", "bc2931837e", "bc2931837e", "c3f3c8c7fe", 
"c3f3c8c7fe", "4f9d32a87c", "aa37e4aad4", "aa37e4aad4", "d0612fc5fd", 
"254b0d0e1a", "254b0d0e1a", "254b0d0e1a", "254b0d0e1a", "254b0d0e1a", 
"254b0d0e1a", "d25a6cb8ae", "d25a6cb8ae", "cb980962cc", "c3f3c8c7fe", 
"bc2931837e", "5e88ee6989", "bc11c53b68", "d25a6cb8ae", "d25a6cb8ae", 
"d25a6cb8ae", "d25a6cb8ae", "254b0d0e1a", "254b0d0e1a", "254b0d0e1a", 
"ef576a138c", "ef576a138c", "ef576a138c", "ef576a138c", "ef576a138c", 
"aa37e4aad4", "aa37e4aad4", "4f9d32a87c", "59d7288adb", "6056a96d2f", 
"f65bdce85f", "02c66b7995", "d6a2c09255", "96b4cbdc54", "9b475a83e3", 
"15e6fe43ab", "8d8a1b8855", "8d8a1b8855", "8d8a1b8855", "4dfc34f04f", 
"20bb7a9baa", "bc2931837e", "5e88ee6989", "bc11c53b68", "d25a6cb8ae", 
"cb980962cc", "ef576a138c", "4f242f55be", "4f242f55be", "4f242f55be", 
"7261115b81", "4f9d32a87c", "4f9d32a87c", "4f9d32a87c", "4f9d32a87c", 
"59d7288adb", "f65bdce85f", "96b4cbdc54", "96b4cbdc54", "8a6cde7f70", 
"8d8a1b8855", "8d8a1b8855", "8d8a1b8855", "8d8a1b8855", "4dfc34f04f", 
"6c5d9095a4", "bc2931837e", "20bb7a9baa", "6c5d9095a4", "5e88ee6989", 
"bc11c53b68", "bc11c53b68", "cb980962cc", "cb980962cc", "254b0d0e1a", 
"254b0d0e1a", "254b0d0e1a", "4f9d32a87c", "6056a96d2f", "0816a336ad", 
"f65bdce85f", "f65bdce85f", "f65bdce85f", "29372d0902", "29372d0902", 
"0d95653f4a", "0d95653f4a", "15e6fe43ab", "15e6fe43ab", "6c5d9095a4", 
"4dfc34f04f", "d26f0b14cc", "d26f0b14cc", "bc2931837e", "6c5d9095a4", 
"e33da33b88", "bc2931837e", "4dfc34f04f", "bc11c53b68", "d0612fc5fd", 
"d0612fc5fd", "d0612fc5fd", "d25a6cb8ae", "d25a6cb8ae", "cb980962cc", 
"254b0d0e1a", "254b0d0e1a", "254b0d0e1a", "254b0d0e1a", "254b0d0e1a", 
"254b0d0e1a", "ef576a138c", "ef576a138c", "ef576a138c", "4f242f55be", 
"4f242f55be", "7261115b81", "4f9d32a87c", "6056a96d2f", "0d95653f4a", 
"0d95653f4a", "02c66b7995", "02c66b7995", "02c66b7995", "96b4cbdc54", 
"d6a2c09255", "d6a2c09255", "d6a2c09255", "8a6cde7f70", "8a6cde7f70", 
"8d8a1b8855", "8d8a1b8855", "8d8a1b8855", "0816a336ad", "6c5d9095a4", 
"6c5d9095a4", "4dfc34f04f", "2235b9a962", "4dfc34f04f", "5e88ee6989", 
"bc11c53b68", "cb980962cc", "cb980962cc", "cb980962cc", "254b0d0e1a", 
"254b0d0e1a", "ef576a138c", "8bee721848", "4f242f55be", "7261115b81", 
"6056a96d2f", "6056a96d2f", "0d95653f4a", "d6a2c09255", "8d8a1b8855", 
"d6a2c09255", "d6a2c09255", "b3dbdc3a98", "8d8a1b8855", "bc2931837e", 
"6c5d9095a4", "bc2931837e", "bc2931837e", "bc2931837e", "bc2931837e", 
"bc2931837e", "bc2931837e", "bc2931837e", "bc2931837e", "bc2931837e", 
"bc2931837e", "bc2931837e", "bc2931837e", "bc2931837e", "bc2931837e", 
"bc2931837e", "bc2931837e", "bc2931837e", "bc2931837e", "bc2931837e", 
"bc2931837e", "bc2931837e", "bc2931837e", "bc2931837e", "bc2931837e", 
"bc2931837e", "bc2931837e", "bc2931837e", "bc2931837e", "bc2931837e", 
"bc2931837e", "bc2931837e", "5e88ee6989", "254b0d0e1a", "ef576a138c", 
"ef576a138c", "ef576a138c", "aa37e4aad4", "7261115b81", "14c3f688bd", 
"59d7288adb", "d6a2c09255", "29372d0902", "96b4cbdc54", "8a6cde7f70", 
"8d8a1b8855", "8d8a1b8855", "8d8a1b8855", "bc2931837e", "6c5d9095a4", 
"bc2931837e", "d26f0b14cc", "d26f0b14cc", "6c5d9095a4", "a9f3188d47", 
"4b794f275c", "4b794f275c", "4b794f275c", "bc2931837e", "bc2931837e", 
"5e88ee6989", "5e88ee6989", "cb980962cc", "cb980962cc", "cb980962cc", 
"254b0d0e1a", "ef576a138c", "8bee721848", "8bee721848", "8bee721848", 
"8bee721848", "4f242f55be", "7261115b81", "7261115b81", "14c3f688bd", 
"59d7288adb", "6056a96d2f", "6056a96d2f", "6056a96d2f", "8d8a1b8855", 
"8d8a1b8855", "d26f0b14cc", "d26f0b14cc", "6c5d9095a4", "2235b9a962", 
"a9f3188d47", "4b794f275c", "4b794f275c", "2235b9a962", "4dfc34f04f", 
"4dfc34f04f", "d25a6cb8ae", "cb980962cc", "cb980962cc", "cb980962cc", 
"254b0d0e1a", "ef576a138c", "ef576a138c", "ef576a138c", "8bee721848", 
"4f242f55be", "aa37e4aad4", "aa37e4aad4", "7261115b81", "59d7288adb", 
"6056a96d2f", "c83af071ba", "c83af071ba", "8d8a1b8855", "8d8a1b8855", 
"d26f0b14cc", "d26f0b14cc", "bc2931837e", "4b794f275c", "cb980962cc", 
"254b0d0e1a", "ef576a138c", "ef576a138c", "aa37e4aad4", "7261115b81", 
"7261115b81", "7261115b81", "29372d0902", "02c66b7995", "02c66b7995", 
"9b475a83e3", "8d8a1b8855", "d26f0b14cc", "20bb7a9baa", "20bb7a9baa", 
"a9f3188d47", "a9f3188d47", "bc11c53b68", "d25a6cb8ae", "d25a6cb8ae", 
"d25a6cb8ae", "d25a6cb8ae", "cb980962cc", "cb980962cc", "254b0d0e1a", 
"ef576a138c", "8bee721848", "4f242f55be", "7261115b81", "6056a96d2f", 
"6056a96d2f", "6056a96d2f", "d26f0b14cc", "d26f0b14cc", "d26f0b14cc", 
"d26f0b14cc", "d26f0b14cc", "d26f0b14cc", "d26f0b14cc", "29372d0902", 
"0d95653f4a", "0d95653f4a", "7261115b81", "8bee721848", "8a6cde7f70", 
"8a6cde7f70", "8a6cde7f70", "6056a96d2f", "6056a96d2f", "6056a96d2f", 
"254b0d0e1a", "8d8a1b8855", "8d8a1b8855", "d25a6cb8ae", "d25a6cb8ae", 
"d25a6cb8ae", "d26f0b14cc", "d26f0b14cc", "d26f0b14cc", "d26f0b14cc", 
"d26f0b14cc", "d26f0b14cc", "d26f0b14cc", "d26f0b14cc", "d26f0b14cc", 
"d26f0b14cc", "cb980962cc", "d26f0b14cc", "d26f0b14cc", "d26f0b14cc", 
"d26f0b14cc", "cb980962cc", "d26f0b14cc", "cb980962cc", "d26f0b14cc", 
"d26f0b14cc", "d26f0b14cc", "d26f0b14cc", "d26f0b14cc", "d26f0b14cc", 
"d26f0b14cc", "d26f0b14cc", "d26f0b14cc", "d26f0b14cc", "bc2931837e", 
"ef576a138c", "d26f0b14cc", "20bb7a9baa", "a9f3188d47", "a9f3188d47", 
"e33da33b88", "bc2931837e", "2235b9a962", "2235b9a962", "4f242f55be", 
"bc11c53b68", "bc11c53b68", "8d8a1b8855", "8d8a1b8855", "6056a96d2f", 
"8d8a1b8855", "8d8a1b8855", "8d8a1b8855", "6056a96d2f", "8d8a1b8855", 
"8d8a1b8855", "8d8a1b8855", "8d8a1b8855", "6056a96d2f", "8d8a1b8855", 
"8d8a1b8855", "8d8a1b8855", "6056a96d2f", "8d8a1b8855", "8d8a1b8855", 
"8d8a1b8855"), id_crypt = c("38591", "40c50", "ab39f", "06c06", 
"6a4b8", "e72d5", "130f9", "b810f", "ff3ba", "c157f", "d2ba5", 
"31571", "130c0", "24a87", "32ff3", "7f670", "7ea09", "730a1", 
"ab932", "5d431", "745a9", "e2570", "1ccdc", "5ff38", "99811", 
"212e4", "196ff", "ef6c0", "2608c", "2c7e0", "f4295", "2c497", 
"7b2ee", "1748a", "18d49", "426b8", "66f70", "1712d", "dd620", 
"0a7d5", "b31c8", "89898", "d6cb5", "242fd", "96480", "fc20c", 
"176e4", "852bd", "68448", "42724", "d3fc3", "863fe", "25b81", 
"4af01", "a3323", "90eb1", "6f1ba", "86a23", "f5b91", "ec2eb", 
"2746b", "325ae", "2fb78", "53467", "8ce54", "ec87a", "9b0f9", 
"76b75", "1ee7a", "b7bcf", "f7d6b", "9ec1b", "28fdc", "d97ab", 
"28482", "09005", "86643", "931ef", "6a609", "6c446", "ac02d", 
"1011e", "b3160", "485aa", "f2a59", "681ab", "b499f", "80bf1", 
"3f090", "5ecf5", "96cdc", "9937f", "f1939", "4afb2", "19a49", 
"5a1c5", "2dd18", "7820d", "f6953", "03a61", "d0011", "ab998", 
"c895b", "d1be3", "b9cd6", "74ef3", "542d0", "ed400", "f21c3", 
"d8c92", "c4367", "12c2a", "4b249", "c4486", "187cb", "f079f", 
"0b25e", "d551a", "96c1e", "6f380", "748d8", "3a153", "441b2", 
"1b161", "3d518", "1a4e6", "52586", "fecea", "37446", "63317", 
"dcacc", "3bf49", "3f237", "bcebb", "69d18", "9c00b", "698ae", 
"82f02", "f0f02", "3c6a2", "c46ea", "5a9f1", "a7335", "255e7", 
"36c7a", "f88ca", "40512", "0a70e", "00954", "e75da", "8261f", 
"4c016", "57538", "2abc7", "26e08", "7d616", "43104", "dfe54", 
"d8149", "2c744", "90577", "f1014", "6a000", "e0e8d", "f7099", 
"184f6", "11c4d", "24678", "9055c", "a768b", "cdd2e", "2d83a", 
"1c0fb", "bac82", "bf912", "51627", "f8894", "8c615", "a0730", 
"db714", "0447d", "4d9d0", "50c63", "154bc", "7c04b", "24c1d", 
"4215b", "567a9", "46b37", "e66ec", "43d09", "a10ac", "52a08", 
"42fd1", "b979d", "79027", "58d56", "dc394", "2c418", "f510c", 
"e147b", "058e3", "dbcdf", "6f477", "556a0", "c2526", "145b7", 
"a0ae2", "b194c", "90e60", "dc245", "ca119", "71335", "9ebf1", 
"25e3c", "f2e31", "ed95f", "0d4e5", "0ac46", "87ead", "e82d1", 
"db0a1", "72571", "16734", "30c30", "6ad5d", "5867a", "560bd", 
"2cdc1", "50c3d", "98143", "7d682", "31b77", "c8096", "2d2d2", 
"e91ef", "4f3dc", "cf46f", "d50a8", "ec1c1", "779c0", "de03f", 
"a2649", "f8bc8", "68508", "6c5c5", "8a67d", "a6643", "87404", 
"aa2af", "15623", "c7188", "bdea8", "54a2a", "057a0", "413e9", 
"c27d8", "55d38", "6574e", "929c5", "0982e", "9755a", "e98a3", 
"c07ef", "78dae", "99a8b", "1931f", "3859c", "b61aa", "bbe21", 
"f9fc1", "1c1e0", "5b5d0", "db302", "ee4da", "f14ce", "f4536", 
"9ca44", "2c7cd", "3476a", "1e74a", "9a471", "26825", "49bb1", 
"e43a1", "d4f66", "a83e5", "fcb13", "4b14c", "dcb20", "685ba", 
"28752", "1ac58", "5a153", "432b3", "36bca", "7fcfe", "d2b4a", 
"75136", "6b0e6", "d1ce5", "d685f", "deffb", "489be", "2238a", 
"8109f", "615c6", "74405", "0158c", "ab830", "2494b", "e0fe2", 
"01fb4", "f6b98", "0ef45", "7b5f9", "5201e", "9b7c2", "06b13", 
"7e5fb", "e0615", "1d30e", "e58d4", "49021", "91e4f", "d45b9", 
"67240", "24a09", "8bedf", "5135f", "25f46", "8b5f2", "79aa5", 
"901b2", "aaf63", "a26ed", "fe835", "60ecd", "9eff1", "42d7f", 
"43875", "db3e9", "32928", "364e0", "c962d", "1a742", "78f33", 
"00ada", "5449c", "5add3", "a11d8", "11f5c", "56a5f", "e4ff3", 
"2fad6", "aefaf", "5ed33", "bc971", "3c947", "37308", "eacdf", 
"7ee21", "d9e54", "1e2ce", "299f2", "b56b2", "f6dae", "10e19", 
"9c4a0", "77620", "b7c61", "f125c", "a1389", "05fdc", "239ba", 
"37112", "513f1", "95f18", "44fc8", "82875", "c17c6", "2b752", 
"d324c", "ee1ca", "bfaba", "0648d", "aefdb", "a44bc", "8adf2", 
"c346f", "0633b", "c6322", "b6812", "e9eac", "60128", "c0344", 
"25071", "01c38", "7b004", "c8713", "f7c07", "a719f", "3d556", 
"2ee1a", "5c5ca", "77ad6", "1068a", "7d8a6", "25067", "2974c", 
"11522", "bfc14", "1acca", "a2762", "1b1b6", "0e377", "23bd7", 
"539de", "25247", "9f840", "211b1", "66cc5", "d9c41", "394a9", 
"de12d", "69a9d", "d5bf2", "c517b", "73109", "61892", "3029f", 
"bcbde", "a3ff7", "8aad3", "2ea08", "485c4", "af22c", "e13c8", 
"29267", "29585", "471d4", "f6582", "81a09", "94fd2", "2b6b8", 
"e5e22", "fe47d", "f8395", "90400", "7c699", "75696", "6b366", 
"87238", "66bd7", "c6b66", "a39c2", "d8b98", "55c4a", "f2bdd", 
"b4122", "42542", "d1d56", "83cff", "9d198", "1c003", "5fb35", 
"bbc22", "a39f1", "8bdeb", "f25fc", "fea83", "528c6", "a53f4", 
"0a9e9", "f48cc", "79050", "ea928", "82320", "9937f", "f1939", 
"3eadc", "1d56e", "255e7", "a7335", "9c00b", "9055c", "a768b", 
"11c4d", "24678", "7c04b", "4f3dc", "cf46f", "d50a8", "30c30", 
"b6812", "980ac", "681d8")), row.names = c(NA, -497L), class = c("data.table", 
"data.frame"))

I'd like to carry out datamanagement on a very large database, with limited memory capacity on my PC. I'd like to make datamanagement chunk. In this subset of my data I have only 50 individuals (Identifeid by the variable anonyme_crypt)

length(unique(data_test$anonyme_crypt))
[1] 50

The idea is to execute the following functions on the different chunks (or subset of patients).

number_of_duplicated<-sum(duplicated(data_chunk))

data_filtered<-data_chunk%>%distinct("ano_date","dp","anonyme_crypt","id_crypt",.keep_all=TRUE)

I would like to make chunks of 11 individuals and then the rest (i.e. 11+11+11+11+6), so that the code can be generalized to all my data. The aim is to have the number of duplicates but also to have a dataset without duplicates.

Upvotes: 0

Views: 26

Answers (0)

Related Questions