CODING ASSESSMENT - ML FOR PEACE PROJECT
We are interested in enhancing our prediction models to co
ectly determine civic space changes for a country for a time-series data. Below is an example of our work and related tasks which you would need to finish.
PROBLEM STATEMENT -
You are given a dataset which consists of data scraped from public domain news sources. This crawled data is scraped from three sources - leconomiste.com, elheraldo.hn and reuters.com. Your objective is to write a machine learning model that is able to classify the events into categories. You have been provided with a sample train and test set. You would have to run your analysis on the test data(test.xlsx) and curate the results.
REQUIREMENTS -
In order to get the results, you might need to fulfill some tasks. The coding assessment needs to be fulfilled in Python. The tasks are divided in the following way:
Task 1. You’ll notice that there are a series of problems with the articles given to you in the test data: either they lack the title, the text of the article, or the date of publication. Your first task consists of fixing these issues by scraping the urls when necessary and populating the empty fields. You can use any scraping li
ary (Soup etc).
Hint: For the text, you can take the only first paragraph of articles, wherever it is available.
Task 2. In order to classify events, they need to be in English language. So, as a second step in the preparation of the data, you need to translate the title and the text of the articles from the language they are in to English(for both train and test). You can use any API to complete this task. We recommend using Facebook’s huggingface models. The models are designed on ISO-2 codes, find the appropriate model for your task provided here. Follow the hugging face installation instructions to install the li
aries.
Task 3. You would need to determine the civic-space event category for this data. Feel free to model what you think would be appropriate for this task. The categories are labeled into one of the three categories: ‘a
est’, ‘disaster’ and ‘violencelethal’.
Hint: More importance would be given to the approach towards modeling with text data, compared to the accuracy of your model.
Follow - up (Bonus): As you might have noticed already, stories include different actors. We are also interested in the 'who did xxx to whom' type of questions. For instance, we would like to know who is a
ested and by whom for the' a
est' category. In addition to extracting named entities (e.g., person in this case), this requires classifying the actors using specific actor classification schemes such as Cameo. For instance, a working model should identify Angela Merkel as the person in the next sentence, but it should also classify her as a government actor:
“German Chancellor Angela Merkel said on Wednesday that social distancing rules to contain the spread of the coronavirus would remain in place until at least May 3 but some shops could reopen next week.”
Obviously, there is no actor in certain events (such as disasters). Please summarize how you would approach this actor extraction problem. Be specific about the steps you will follow, as well as any models you will use. You can demonstrate your logic by using the actual events provided to you.
Task 4. Imagine you are using database storage for this exercise. How would you plan to store this data in unstructured format? Write code/pseudocode that would allow you to transform the output csv dataframe that you have already processed into a mongodb collection.
RESULTS -
You will need to submit a csv file with the predictions and your script(s). Please give a small write up which explains your methodology, including how the data was preprocessed, which algorithms you used to generate your model, and the rationale behind your choice to do so. If you have questions, please make an assumption and explain any assumptions that you have made in the write up.
Sheet1
_id date_publish language title source_domain maintext url
60458202f4df5bfeefeb9cce XXXXXXXXXX:12:44 es Siguatepeque: Condenan a 77 años de cárcel a hom
e que abusó de siete niñas elheraldo.hn COMAYAGUA, HONDURAS.- A 77 años de cárcel fue condenado este martes un hom
e que fue hallado culpable de cuatro delitos de violación especial, tres de otras agresiones sexuales y tenencia ilegal de arma de fuego.
Jesús Vásquez Medina (57) fue detenido luego de una denuncia anónima donde se informó que el sujeto abusó sexualmente a siete menores de edad en una aldea de Siguatepeque, Comayagua, zona central de Honduras.
VEA: Familia de Keyla Martínez: 'Todavía no hay ningún detenido, los tiene escondiditos'
De inmediato elementos de la Policía Nacional se trasladaron al lugar y capturaron al sospechoso. En el lugar de la detención además recopilaron evidencias que derivaron en su condena.
El expediente en poder del Ministerio Público (MP) detalla que las víctimas, que tenían entre cuatro y 11 años de edad, sufrían abusos desde hace unos tres años.
La Fiscalía estableció que el hom
e amenazaba a las niñas para que no lo denunciaran.
ADEMÁS: Capturan a cabecilla de la pandilla 18 y a su pareja en Comayagüela https:
www.elheraldo.hn/sucesos/ XXXXXXXXXX/violador-menores-honduras-condena-siguatepeque
6068182bfa2429648e92c732 XXXXXXXXXX:21:43 es Foto 2: Cae 'El Gordo' con más de 160 paquetes de droga en Villa Vieja elheraldo.hn Juan Adolfo Lopez Zavala (42), conocido criminalmente con el alias de 'El Inquieto' y miem
o activo de la MS XXXXXXXXXX/03/ XXXXXXXXXX:34 PM)
2/3 2/3 https:
www.elheraldo.hn/sucesos/ XXXXXXXXXX/cae-el-gordo-160-paquetes-droga-capital-sucesos?mainImg=2
60690c5c18d9b6e2de98a7df XXXXXXXXXX:31:12 es México: Escapan hondureños que viajaban en avión con vacunas contra el covid-19 elheraldo.hn CIUDAD DE MEXICO, MÉXICO.- El piloto y los seis pasajeros hondureños, de una aeronave privada en la que fueron incautados miles de envases con supuestas vacunas falsas contra el coronavirus, lograron escapar de un hotel al sur de México, tras ser identificados por las autoridades.
La Fiscalía General anunció este miércoles que el piloto y los seis pasajeros que abordarían el avión privado, en el aeropuerto mexicano de Campeche, con destino a la ciudad hondureña de San Pedro Sula, lograron evadirse de la vigilancia luego de ser instalados en un hotel.
LEA TAMBIÉN: Inauguran Laboratorio de Biología Molecular en Copán
Las autoridades no informaron la identidad de los solicitados y sólo indicaron que se pidió al Instituto Nacional de Migración una alerta migratoria para los siete ocupantes.
En medio de la polémica desatada tras el decomiso de las miles de supuestas dosis falsas de la vacuna rusa Sputnik V contra el coronavirus, la Fiscalía General dijo en un comunicado que aún no ha recibido la opinión pericial de la Comisión Federal para la Protección contra Riesgos Sanitarios (COFEPRIS) so
e cuál es el contenido de los 1,062 envases que fueron incautados el 17 de marzo, condición que es indispensable para judicializar el caso.
El Ministerio Público descartó en el escrito haber recibido presión alguna de parte del gobierno federal o local por el proceso.
La Administración General de Aduanas y el Ejército mexicano localizaron el 17 de marzo los frascos de la supuesta vacuna rusa en el fondo de una hielera que estaba en un avión privado que se disponía a trasladarse a San Pedro Sula.
Las autoridades mexicanas consideraron las vacunas como reales y las resguardaron e iniciaron una investigación so
e el decomiso. Sin embargo, el Fondo Ruso de Inversión Directa, que es la instancia pública que se encarga del manejo de la Sputnik V en el extranjero, informó poco después que se trata de “un lote de falsas vacunas”.
Las versiones de prensa señalan que la aeronave implicada en el caso fue rentada por una empresa hondureña Grupo Karim’s. Sin ofrecer mayores detalles so
e la adquisición de las supuestas vacunas rusas, el Grupo Karim’s reconoció la víspera por primera vez que estaba detrás del embarque y negó que buscara introducir de manera ilegal los medicamentos en Honduras.
Al defender la importación de las vacunas, el Grupo Karim’s, que se dedica a la fa
icación de ropa, descartó en un comunicado que las dosis estuviesen destinadas a la venta, tal como señalaron algunas versiones de prensa, e indicó que las vacunas serían aplicadas de manera gratuita a sus colaboradores y familiares.
La organización no ofreció detalles so
e la cantidad de vacunas que compró, cómo las adquirió, ni la veracidad del medicamento.
México empezó a utilizar la Sputnik V en fe
ero y ha recibido 400,000 dosis de la vacuna y espera la llegada de 500,000 más en los próximos días.
Honduras aprobó el uso de emergencia de la vacuna rusa en fe
ero y este mes anunció la compra de más de 4 millones de dosis, pero ninguna ha llegado todavía al país centroamericano.
VEA: Previo a Semana Santa: Colapsan Unidades de Cuidados Intensivos de hospitales https:
www.elheraldo.hn/inicio/ XXXXXXXXXX/hondurenos-trafico-vacuna-sputnik-covid-mexico?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+elheraldo_titulares+%28El+Heraldo+-+Titulares%29
6068182efa2429648e92c73c XXXXXXXXXX:52:50 es Capturan a hom
e prófugo de la justica desde hace 26 años elheraldo.hn https:
www.elheraldo.hn/sucesos/ XXXXXXXXXX/capturan-profugo-justicia-cedros-honduras
6068dea418d9b6e2de97ba8a XXXXXXXXXX:58:27 es ¿Qué se sabe so
e las 5,775 dosis falsas de Sputnik V decomisadas en México? elheraldo.hn https:
www.elheraldo.hn/inicio/ XXXXXXXXXX/vacunas-sputnik-v-decomiso-mexico
60693fa302cb24d00198e879 XXXXXXXXXX:48:23 es Capturan a hom
e que intentó matar a su padre en Cedros elheraldo.hn https:
www.elheraldo.hn/inicio/ XXXXXXXXXX/hom
e-intento-matar-papa-honduras-cedros?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+elheraldo_titulares+%28El+Heraldo+-+Titulares%29
6046617cf041a1a909df6627 XXXXXXXXXX:17:15 es Decomisan 60 kilos de presunta cocaína en San Pedro Sula elheraldo.hn https:
www.elheraldo.hn/inicio/ XXXXXXXXXX/decomiso-droga-honduras-narcotrafico?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+elheraldo_titulares+%28El+Heraldo+-+Titulares%29
602d1ab32c54ed0668b7d1e2 XXXXXXXXXX:59:55 en China police detain instigator of RRR cut rumor: newspaper reuters.com BEIJING (Reuters) - Police in China have ordered that a person said to have spread a rumor that the central bank had announced a cut in a key bank reserve ratio be detained for five days, the Shanghai Securities News said on Wednesday.
The newspaper reported the move on its website, citing an unnamed source.
On March 29, private chat groups on China’s social media platform WeChat shared what appeared to be a paragraph pasted from a story by the official Xinhua news agency saying the People’s Bank of China had announced a cut in the reserve requirement ratio (RRR) to take effect two days later on April 1.
The central bank denied the reports a few hours later. On April 2, PBOC said it had asked the police to investigate the incident.
China has been stepping up efforts to police potentially destabilizing content on its already stringently censored internet. https:
www.reuters.com/article/us-china-economy-
-rumou
china-police-detain-instigator-of-
-cut-rumor-newspaper-idUSKCN1VI1NP
606817e8fa2429648e92c67f XXXXXXXXXX:25:22 es A
estan a hom
e que intentó violar a niña de 13 años en Colón elheraldo.hn COLÓN, HONDURAS.- Por intentar abusar sexualmente de una menor de 13 años, la Policía Nacional a
estó -en las últimas horas- a un hom
e en el sector de San Martín, Trujillo, Colón.
A través de una denuncia al Sistema de Emergencia 911, las autoridades dieron con el individuo de 26 años de edad de quien se desconoce su identidad.
LEA: Accidente entre bus rapidito y turismo deja dos personas heridas en la Ce
o Grande
De acuerdo al informe policial, el sospechoso fue retenido el pasado jueves 18 de marzo por ciudadanos que, acudieron al auxilio de la niña cuando era objeto de la supuesta agresión sexual.
Agentes de la Policía llegaron hasta el lugar para realizar el a
esto del sujeto, quien mostraba signos de estar bajo los efectos del alcohol.
Luego de ser detenido, se trasladó al imputado a una estación policial para documentar el expendiente investigativo, bajo el delito de agresión sexual en su grado de tentativa en contra de la menor.
+Matan a una